JP7417331B1

JP7417331B1 - Image processing equipment and camera system

Info

Publication number: JP7417331B1
Application number: JP2023070430A
Authority: JP
Inventors: 淳一仲井
Original assignee: 株式会社Asue
Priority date: 2023-04-21
Filing date: 2023-04-21
Publication date: 2024-01-18
Anticipated expiration: 2043-04-21

Abstract

【課題】手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供する。【解決手段】人間の体壁３に装着するための体腔内手術用カメラ１に搭載されたイメージセンサ１２からの画像データを処理する画像処理装置であって、イメージセンサ１２が撮影した第１の領域Ｒ１内に、第１の領域Ｒ１よりも小さい第２の領域Ｒ２を設定する領域設定部２０１と、第１の領域Ｒ１に対応する第１の画像Ｇ１および第２の領域Ｒ２に対応する第２の画像Ｇ２を異なる表示領域に表示させる表示制御部１９１と、を備え、第２の画像Ｒ２のフレームレートが第１の画像Ｒ１のフレームレートよりも大きい。【選択図】図４An object of the present invention is to provide a camera system that does not interfere with surgery and can reduce the load on a network and image processing processor. [Solution] An image processing device that processes image data from an image sensor 12 mounted on a camera 1 for intrabody cavity surgery to be attached to a human body wall 3, the first image taken by the image sensor 12 A region setting unit 201 that sets a second region R2 smaller than the first region R1 within the region R1, and a first image G1 corresponding to the first region R1 and a second region R2 corresponding to the second region R2. a display control unit 191 that displays two images G2 in different display areas, and the frame rate of the second image R2 is higher than the frame rate of the first image R1. [Selection diagram] Figure 4

Description

本発明は、例えば腹腔鏡下で外科的手術を行う腹腔鏡手術などの体腔内手術用カメラに関するものである。 TECHNICAL FIELD The present invention relates to a camera for intra-body cavity surgery, such as laparoscopic surgery, for example.

近年、腹腔鏡手術が多くの施設で行われるようになり、実施している各施設においても、腹腔鏡手術の占める割合が増えている。腹腔鏡手術は開腹手術と違って、患者を開腹することなく、検査や治療処置を行う低侵襲性の手術である。周知のように、腹腔鏡手術では、患者の臍部近傍やその周辺の腹壁に５～１５ｍｍ程度の小さな穴を複数箇所開けて（穿孔）、トロッカ（トラカールとも呼ぶ）を貫通させ（穿刺）、気腹ガス送気孔を通して、腹腔内に二酸化炭素ガスを注入して膨らませて（気腹）、このトロッカを介して内視鏡（手術用カメラ）や手術のための鉗子や電気メス、縫合用ステープラなどの処置具を挿入する。腹壁に取り付けられたトロッカの内部には、腹腔の気腹状態を維持するために気密弁が設けることもある。術者はこの内視鏡によって患部を観察しながら、これらの処置具を使って臓器の切開や縫合などの処置作業を行う。 In recent years, laparoscopic surgery has been performed in many facilities, and the proportion of laparoscopic surgery in each facility where it is performed is increasing. Laparoscopic surgery is a minimally invasive surgery that performs examinations and treatments without opening the patient's abdomen, unlike open surgery. As is well known, in laparoscopic surgery, multiple small holes of approximately 5 to 15 mm are made in the vicinity of the patient's umbilicus and the surrounding abdominal wall (perforation), and a trocar (also called a trocar) is penetrated (puncture). Carbon dioxide gas is injected into the abdominal cavity through the pneumoperitoneum gas inlet and inflated (pneumoperitoneum), and through this trocar, an endoscope (surgical camera), surgical forceps, electric scalpel, and suture stapler are inserted. Insert treatment tools such as An airtight valve may be provided inside the trocar attached to the abdominal wall to maintain the pneumoperitoneum state of the abdominal cavity. The surgeon uses these treatment tools to perform treatment operations such as incisions and sutures of organs while observing the affected area through this endoscope.

手術を始める際に、術者およびその手術に立ち会っている助手が、鉗子などを腹腔内に挿入する場合、通常、別の助手が、内視鏡を使って腹腔内に挿入された鉗子の先端部付近を映しながら、患部まで誘導する。また術者が臓器の切開や縫合を行う際には、内視鏡を患部の臓器に近づけて画像を撮影するために、視野が非常に狭くなってしまい、術者や助手なども含めて、この内視鏡で映し出されている狭い作業領域以外の腹腔内の状態（作業領域以外の処置具の動きなど）を把握することができない。そのため、前記のように鉗子を腹腔内に挿入する際や手術中に起きた内視鏡の視野の外での思わぬ出血や、ガーゼなどの残留物の回収忘れなどから、重大な医療事故を起こす危険性がある。 When the surgeon and an assistant present at the surgery insert forceps into the abdominal cavity, another assistant usually inserts the tips of the forceps into the abdominal cavity using an endoscope. Guide the patient to the affected area while showing the surrounding area. Furthermore, when a surgeon performs incisions and sutures on organs, the endoscope must be brought close to the affected organ to take images, resulting in a very narrow field of view, which can cause problems for both the surgeon and his assistants. It is not possible to grasp the state of the abdominal cavity other than the narrow working area shown by this endoscope (such as the movement of the treatment instrument outside the working area). Therefore, as mentioned above, serious medical accidents can occur, such as unexpected bleeding that occurs outside the field of view of the endoscope when inserting forceps into the abdominal cavity or during surgery, and forgetting to collect residual materials such as gauze. There is a risk of it happening.

このような問題の対策として、特許文献１～４では、上記のような患部を撮影する内視鏡に加えて、腹腔内全体を別のカメラで撮影する技術が報告されている。さらに特許文献５では、腹壁に設置して腹腔内を撮影するカメラを使って、腹腔内全体を撮像したデータから患部の画像を切り出して表示させるという撮像装置が報告されている。 As a countermeasure for such problems, Patent Documents 1 to 4 report techniques in which, in addition to the above-mentioned endoscope for photographing the affected area, a separate camera is used to photograph the entire abdominal cavity. Furthermore, Patent Document 5 reports an imaging device that uses a camera installed on the abdominal wall to photograph the inside of the abdominal cavity, and cuts out and displays an image of the affected area from data obtained by imaging the entire inside of the abdominal cavity.

特許第５１３１６６１号（２０１３年１月３０日発行）Patent No. 5131661 (issued on January 30, 2013) 特許第５６６９６６６号（２０１５年２月１２日発行）Patent No. 5669666 (issued February 12, 2015) 特許第６７０３６８４号（２０２０年６月３日発行）Patent No. 6703684 (issued on June 3, 2020) 特許第６７６４４９１号（２０２０年９月３０日発行）Patent No. 6764491 (issued on September 30, 2020) 特開２０１９―１３０００５号公報（２０１９年８月８日公開）Japanese Patent Application Publication No. 2019-130005 (published on August 8, 2019)

しかしながら、前記特許文献１の技術では、内視鏡とは別に腹腔内全体を撮影する体内監視カメラを装着する場合、体外から挿入され該カメラからの映像信号ラインを内蔵した針の先端のコネクタ部と、該カメラのコネクタ部とを腹腔内で鉗子などを使って取り付けなければならず、さらに手術などの処置作業が終了して該カメラを回収する場合なども、それ相応の繊細な熟練作業を要するという問題がある。 However, in the technology of Patent Document 1, when an in-body monitoring camera that images the entire inside of the abdominal cavity is attached separately from the endoscope, the connector at the tip of the needle that is inserted from outside the body and has a built-in video signal line from the camera. and the connector part of the camera must be attached inside the abdominal cavity using forceps, etc. Furthermore, when the camera is retrieved after a procedure such as surgery, it requires a corresponding amount of delicate and skilled work. There is a problem that it is necessary.

また前記特許文献２および３の技術は、前記特許文献１でのカメラの取り付けおよびカメラの回収を専用の導入回収専用具や支持管を使って簡素化するというものである。しかしながらこれら技術でも、腹腔内設置カメラの取り付けの際には、いずれも腹腔内のような直接目で見えない狭い空間で、該カメラとは別に挿入した内視鏡やＬＥＤなどの照明器具を使った作業となり、時間と労力を要するという問題がある。 Furthermore, the techniques of Patent Documents 2 and 3 simplify the mounting and recovery of the camera in Patent Document 1 by using a dedicated introduction/retrieval tool and a support tube. However, even with these techniques, when installing an intraperitoneal camera, an endoscope or lighting equipment such as an LED that is inserted separately from the camera is used in a narrow space such as the abdominal cavity that cannot be seen directly. There is a problem in that the process requires a lot of time and effort.

一方、前記特許文献４の技術は、少なくとも４本の脚部を備えた撮像装置（カメラ）を使って、腹腔内のような限られた空間のほぼ全ての方位を撮像するというものである。しかしながら、腹腔内に該カメラを投下し設置する場合、腹腔内の形状が複雑なために必ずしも一度で所望の場所、方向に設置できるとは限らない。その場合は、該カメラとは別に挿入した内視鏡やＬＥＤなどの照明器具を使って、その設置場所の確認や調整（再設置）が必要となる。一方、カメラを回収する場合も同じように、内視鏡や照明器具を使っての作業が必要である。さらに手術などの処置作業の最中に、設置した該カメラが作業の邪魔になったり、作業の振動によって該カメラが所望の位置から移動してしまう場合もあり、その都度設置し直す必要が出てくるという問題がある。 On the other hand, the technique disclosed in Patent Document 4 uses an imaging device (camera) having at least four legs to capture images in almost all directions of a limited space such as the inside of the abdominal cavity. However, when the camera is dropped into the abdominal cavity and installed, it is not always possible to install it in the desired location and direction at once because the shape of the abdominal cavity is complex. In that case, it is necessary to confirm and adjust (reinstall) the installation location using an endoscope or lighting equipment such as an LED inserted separately from the camera. On the other hand, when recovering cameras, it is necessary to use endoscopes and lighting equipment. Furthermore, during treatment work such as surgery, the installed camera may get in the way of the work, or the camera may move from its desired position due to vibrations during the work, making it necessary to reinstall it each time. There is a problem with coming.

さらに、前記特許文献１～４の技術に共通する問題点として、以下のような現象が発生する。患部をＬＥＤライトなどの照明器具で照射し、患部の画像を拡大して撮影する内視鏡に加えて、腹腔内全体を別のカメラで撮影する場合、腹腔内全体を撮影した映像は、患部に照射された光量が強いために、その箇所だけ白くぼやけてしまい（白飛び）、患部およびその周辺（術野）の画像が認識しづらくなるという問題が起こる。 Furthermore, as a problem common to the techniques of Patent Documents 1 to 4, the following phenomenon occurs. In addition to an endoscope that illuminates the affected area with a lighting device such as an LED light and takes a magnified image of the affected area, if the entire abdominal cavity is imaged with a separate camera, the image taken of the entire abdominal cavity may not be accurate to the affected area. Because the amount of light irradiated on the area is strong, only that area becomes white and blurred (overexposure), making it difficult to recognize the image of the affected area and its surroundings (operative field).

一方、前記特許文献５では、腹腔を撮像する撮像装置の設置、固定方法および画像表示システムであって、腹腔内全体を撮像した画像をディスプレイ装置（第１表示部５１）に表示させながら、その画像から一部の領域（患部）の画像を取り出して同時に別のディスプレイ装置（第２表示部５２）に表示させる技術について記載されている。しかしながら、第１表示部５１と第２表示部５２のフレームレートについては言及されておらず、仮に、両者のフレームレートが同じである場合、以下のような問題が生じる。フレームレートを小さくすると（例えば１０ｆｐｓ）、患部の画像が滑らかに表示されなくなるため、手術に支障を来すことになる。フレームレートを通常の動画と同程度にすると（例えば３０ｆｐｓ）、第１表示部５１および第２表示部５２に送信される画像のデータ量が大きくなるため、ネットワークや画像処理プロセッサへの負荷が大きくなる。 On the other hand, Patent Document 5 discloses a method for installing and fixing an imaging device that images the abdominal cavity, and an image display system, which displays an image of the entire abdominal cavity on a display device (first display unit 51). A technique is described in which an image of a part of the area (affected area) is extracted from the image and simultaneously displayed on another display device (second display unit 52). However, there is no mention of the frame rates of the first display section 51 and the second display section 52, and if the frame rates of both are the same, the following problem will occur. If the frame rate is reduced (for example, 10 fps), the image of the affected area will not be displayed smoothly, which will impede the surgery. If the frame rate is set to the same level as a normal video (for example, 30 fps), the amount of image data sent to the first display section 51 and the second display section 52 will increase, resulting in a large load on the network and image processing processor. Become.

本発明は、上記問題を鑑みてなされたものであり、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供することを課題とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a camera system that does not interfere with surgery and can reduce the load on the network and image processing processor. .

上記課題を解決するために、本発明は以下の態様を含む。
項１．
人間の体壁に装着するための体腔内手術用カメラに搭載されたイメージセンサからの画像データを処理する画像処理装置であって、
前記イメージセンサが撮影した第１の領域内に、前記第１の領域よりも小さい第２の領域を設定する領域設定部と、
前記第１の領域に対応する第１の画像および前記第２の領域に対応する第２の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第２の画像のフレームレートが前記第１の画像のフレームレートよりも大きいことを特徴とする、画像処理装置。
項２．
前記表示制御部は、前記第２の画像を、前記第１の画像の前記第２の領域に対応する部分よりも大きく表示させる、項１に記載の画像処理装置。
項３．
前記第１の画像のフレームレートは１～２４ｆｐｓである、項１または２に記載の画像処理装置。
項４．
前記第２の画像のフレームレートは１２～６０ｆｐｓである、項１または２のいずれかに記載の画像処理装置。
項５．
前記イメージセンサが、各画素内にメモリー機能を持つことを特徴とする、項１～４のいずれかに記載の画像処理装置。
項６．
前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第１の領域の画素から画素信号を読出す周期を、前記第２の領域の画素から画素信号を読出す周期よりも長くすることを特徴とする、項５に記載の画像処理装置。
項７．
前記読出制御部は、前記第１の領域の画素から画素信号を読出すタイミングと、前記第２の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、項６に記載の画像処理装置。
項８．
項１～７のいずれかに記載の画像処理装置と、
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、
を備える、カメラシステム。
項９．
前記体腔内手術用カメラは、固定ユニットに装着された状態で用いられ、少なくとも前記イメージセンサを覆うレンズは、該レンズへの入射光が前記固定ユニットおよび前記体壁によって遮断されないように、前記体腔内に突出していることを特徴とする、項８に記載のカメラシステム。
項１０．
前記体腔内手術用カメラは、広角レンズを搭載していることを特徴とする項８または９に記載のカメラシステム。 In order to solve the above problems, the present invention includes the following aspects.
Item 1.
An image processing device that processes image data from an image sensor mounted on an intracorporeal surgical camera to be attached to a human body wall,
an area setting unit that sets a second area smaller than the first area within the first area photographed by the image sensor;
a display control unit that displays a first image corresponding to the first area and a second image corresponding to the second area in different display areas;
Equipped with
An image processing device, wherein a frame rate of the second image is higher than a frame rate of the first image.
Item 2.
Item 2. The image processing device according to Item 1, wherein the display control unit displays the second image larger than a portion of the first image that corresponds to the second area.
Item 3.
Item 3. The image processing device according to Item 1 or 2, wherein the first image has a frame rate of 1 to 24 fps.
Item 4.
3. The image processing device according to claim 1, wherein the second image has a frame rate of 12 to 60 fps.
Item 5.
5. The image processing device according to any one of items 1 to 4, wherein the image sensor has a memory function in each pixel.
Item 6.
comprising a readout control unit that controls timing for reading out pixel signals from the pixels of the image sensor;
Item 5, wherein the readout control unit makes a period for reading out pixel signals from pixels in the first region longer than a period for reading out pixel signals from pixels in the second region. image processing device.
Section 7.
Item 6, wherein the readout control unit sets different timings for reading out pixel signals from pixels in the first area and timing for reading out pixel signals from pixels in the second area. image processing device.
Section 8.
The image processing device according to any one of items 1 to 7,
an intrabody cavity surgical camera connected to the image processing device and to be attached to a human body wall;
A camera system equipped with.
Item 9.
The camera for intrabody cavity surgery is used while being attached to a fixation unit, and a lens covering at least the image sensor is attached to the body cavity so that light incident on the lens is not blocked by the fixation unit and the body wall. 9. The camera system according to item 8, wherein the camera system protrudes inward.
Item 10.
10. The camera system according to item 8 or 9, wherein the camera for intrabody cavity surgery is equipped with a wide-angle lens.

本発明によれば、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供できる。 According to the present invention, it is possible to provide a camera system that does not interfere with surgery and can reduce the load on the network and image processing processor.

本発明の実施形態に係る体腔内手術用カメラを、腹腔の内部を撮影できるように、所望の形状に加工した固定ユニットを介して、腹壁に取り付けた模式的断面図である。FIG. 1 is a schematic cross-sectional view of an intrabody surgical camera according to an embodiment of the present invention attached to an abdominal wall via a fixing unit machined into a desired shape so as to be able to photograph the inside of the abdominal cavity. 本発明の実施形態に係る体腔内手術用カメラを、広角レンズの先端側から見た模式的正面図である。FIG. 1 is a schematic front view of the camera for intrabody cavity surgery according to the embodiment of the present invention, viewed from the distal end side of a wide-angle lens. 本発明の実施形態に係るカメラシステムの模式的概略図である。1 is a schematic diagram of a camera system according to an embodiment of the present invention. カメラ、画像処理プロセッサ、撮像条件コントロール用パソコン、およびモニターの概略構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of a camera, an image processing processor, a personal computer for controlling imaging conditions, and a monitor. 本発明の実施形態に係る体腔内手術用カメラで、腹腔の内部を撮影した場合の、第１の領域（腹腔内全体）および第２の領域（術野）の画像を模式的に描いた図である。A diagram schematically depicting images of a first region (the entire abdominal cavity) and a second region (operative field) when the inside of the abdominal cavity is photographed with the camera for intrabody cavity surgery according to the embodiment of the present invention. It is. 第１の領域、第２の領域、および第１の領域から第２の領域を除去した残りの領域を説明するための図である。FIG. 3 is a diagram for explaining a first region, a second region, and the remaining region after removing the second region from the first region. 第１の領域および第２の領域の画素信号の読出しタイミングと、残りの領域および第２の領域の画素信号の蓄積時間を、時系列に模式的に表した図である。FIG. 6 is a diagram schematically chronologically representing the readout timing of pixel signals in the first region and the second region and the accumulation time of the pixel signals in the remaining region and the second region. 第１の領域および第２の領域の画素信号読出し時に読出される画像（イメージ図）を、図７の読出しタイミング（ｔ１、ｔ２、…およびｕ１、ｕ２、…）に合わせて嵌め込んで模式的に表した図である。Images (image diagrams) read out when reading out pixel signals in the first area and the second area are schematically inserted in accordance with the readout timings (t1, t2, ... and u1, u2, ...) in FIG. FIG. （ａ）は、本発明の実施例に係る体腔内手術用カメラで、暗幕内の静物を撮影した場合の第１の領域を通常の読出し方法で撮影した映像例であり、（ｂ）は、第１の領域を１０ｆｐｓで撮影した撮像例であり、（ｃ）は、第１の領域内に設定された第２の領域を３０ｆｐｓで出力し、電子ズーム機能を用いて約３倍に拡大した撮像例である。(a) is an example of a video obtained by photographing a still life behind a blackout curtain using a camera for intrabody cavity surgery according to an embodiment of the present invention, and the first region is photographed using a normal readout method; This is an example of imaging in which the first region was photographed at 10 fps, and (c) is a second region set within the first region that is output at 30 fps and enlarged approximately three times using the electronic zoom function. This is an example of imaging.

以下、本発明の一実施形態について添付図面を参照して説明する。なお、以下の説明において、各図面は模式的なものであり、記載した構成の形状や材質、大きさなどや、各部分の厚みと幅との関係、それぞれの部分の厚みの比率などは、実際のものを反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。 Hereinafter, one embodiment of the present invention will be described with reference to the accompanying drawings. In addition, in the following explanation, each drawing is schematic, and the shape, material, size, etc. of the described structure, the relationship between the thickness and width of each part, the ratio of the thickness of each part, etc. The drawings do not reflect the actual objects and have been appropriately changed for clarity and simplification of the drawings.

図１は、本実施形態に係る体腔内手術用カメラ（以下、単にカメラと表記）１を、腹腔２の内部を撮影できるように、所望の形状に加工した固定ユニットを介して、腹壁３に取り付けた模式的断面図である。カメラ１は、主に本体部８およびカメラ支持管９を備えており、本体部８の腹腔２側に、広角レンズ６、ＬＥＤ照明装置１０およびイメージセンサ１２を搭載している。 FIG. 1 shows an intrabody surgical camera (hereinafter simply referred to as a camera) 1 according to the present embodiment attached to an abdominal wall 3 via a fixing unit machined into a desired shape so as to be able to photograph the inside of the abdominal cavity 2. It is a schematic cross-sectional view of the attached device. The camera 1 mainly includes a main body 8 and a camera support tube 9, and a wide-angle lens 6, an LED lighting device 10, and an image sensor 12 are mounted on the abdominal cavity 2 side of the main body 8.

図１は、固定ユニットとして、トロッカ４および創縁保護器具５を使った場合を示す。腹壁３を穿孔して取り付けた創縁保護器具５に、本体部８を取り付けたトロッカ４を貫通させることにより、カメラ１を腹壁３に設置する。トロッカ４の先端は、カメラ１が所望の位置に留まるよう、すなわち、本体部８の腹腔２側の広角レンズ６の画角が遮られず、かつ広角レンズ６の先端表面と腹腔２の内壁との距離が最小になるように、ストッパ７を設けている。カメラ１の本体部８およびカメラ支持管９をステンレス製にしておけば、洗浄、殺菌処理等により再利用できる。本体部８の腹腔２内に挿入される広角レンズ６を含む先端部を透明フィルム等で覆うことによって、使用後の管理が簡素化できる。さらに、本体部８の先端部には、腹腔２の内部を照射するためのＬＥＤ照明装置１０が装着されている。 FIG. 1 shows the use of a trocar 4 and a wound edge protection device 5 as fixation units. The camera 1 is installed on the abdominal wall 3 by passing the trocar 4 to which the main body part 8 is attached through the wound edge protection device 5 that is attached by perforating the abdominal wall 3. The tip of the trocar 4 is arranged so that the camera 1 remains at the desired position, that is, the angle of view of the wide-angle lens 6 on the abdominal cavity 2 side of the main body 8 is not obstructed, and the tip surface of the wide-angle lens 6 and the inner wall of the abdominal cavity 2 are connected to each other. The stopper 7 is provided so that the distance is minimized. If the main body 8 and camera support tube 9 of the camera 1 are made of stainless steel, they can be reused by cleaning, sterilizing, etc. By covering the distal end portion of the main body portion 8 including the wide-angle lens 6, which is inserted into the abdominal cavity 2, with a transparent film or the like, management after use can be simplified. Furthermore, an LED illumination device 10 for illuminating the inside of the abdominal cavity 2 is attached to the distal end of the main body 8 .

なお、固定ユニットとして、トロッカ４および創縁保護器具５を一体化したものを使っても良い。また、トロッカ４には、必要に応じて、腹腔２の二酸化炭素ガスの漏れを最小限に防ぐための逆止弁１１や、カメラ１で撮影された画像が腹腔２の揺れによってブレることを抑えるためのスタビライザ（図は省略）を設置しても良い。さらに、腹腔２内に二酸化炭素ガスを注入する際の気腹ガス送気孔（図は省略）を固定ユニットに取り付けても良い。カメラ支持管９の本体部８とは反対側の端部にケーブルコネクタが設けられており、信号線、電源線等のケーブル１３を電気的に接続できるようになっている。 Note that as a fixed unit, a unit in which the trocar 4 and the wound edge protection device 5 are integrated may be used. In addition, the trocar 4 is equipped with a check valve 11 to minimize leakage of carbon dioxide gas from the abdominal cavity 2, and a check valve 11 to prevent the image taken by the camera 1 from blurring due to shaking of the abdominal cavity 2, as necessary. A stabilizer (not shown) may be installed to suppress the movement. Furthermore, a pneumoperitoneum gas supply hole (not shown) for injecting carbon dioxide gas into the abdominal cavity 2 may be attached to the fixed unit. A cable connector is provided at the end of the camera support tube 9 opposite to the main body 8, so that cables 13 such as signal lines and power lines can be electrically connected.

図２は、カメラ１を広角レンズ６の先端側から見た模式的正面図である。図中、イメージセンサ１２の周囲にＬＥＤ照明装置１０が等間隔で４個取り付けられている。数量は必要に応じて変更しても良く、また形状も円形以外の、例えばイメージセンサ１２の周囲を囲むようなリング状あるいは略リング状のものでも良い。図１に示すように、カメラ１をトロッカ４に装着する場合、トロッカ４の先端部に設けたストッパ７が、等間隔に取り付けられたＬＥＤ照明装置１０の間にはまることによって、カメラ１を所望の位置に固定できるようになっている。 FIG. 2 is a schematic front view of the camera 1 viewed from the front end side of the wide-angle lens 6. In the figure, four LED lighting devices 10 are installed around an image sensor 12 at equal intervals. The number may be changed as necessary, and the shape may be other than circular, for example, a ring shape or a substantially ring shape surrounding the image sensor 12. As shown in FIG. 1, when the camera 1 is attached to the trocar 4, the stopper 7 provided at the tip of the trocar 4 fits between the LED lighting devices 10 attached at equal intervals, so that the camera 1 can be mounted in the desired position. It can be fixed in position.

図３は、本実施形態に係るカメラシステム１００の模式的概略図であり、腹腔鏡手術を行う患者１４の腹壁３に、固定ユニット（トロッカ４および創縁保護器具５）でカメラ１を固定保持して、カメラ１に装着されたＬＥＤ照明装置１０で腹腔２の内部全体を照射して撮影している様子を表している。カメラシステム１００は主に、カメラ１、画像処理プロセッサ１９、撮像条件コントロール用パソコン２０、およびモニター２１、２２を備えている。図３では、腹壁３の別の位置に開けた穿孔から、トロッカ１５、１６を介して、２本の鉗子１７、１８が腹腔２内に挿入されている。カメラ１のイメージセンサ１２からの画像データは、ケーブル１３を介して画像処理プロセッサ１９に送信される。さらに画像処理プロセッサ１９は、撮像条件コントロール用パソコン２０、およびカメラ画像を見るためのモニター２１、２２に電気的に繋がれている。 FIG. 3 is a schematic diagram of the camera system 100 according to the present embodiment, in which the camera 1 is fixedly held by a fixing unit (trocar 4 and wound edge protection device 5) on the abdominal wall 3 of a patient 14 undergoing laparoscopic surgery. This shows how the entire inside of the abdominal cavity 2 is illuminated and photographed with the LED illumination device 10 attached to the camera 1. The camera system 100 mainly includes a camera 1, an image processing processor 19, a personal computer 20 for controlling imaging conditions, and monitors 21 and 22. In FIG. 3, two forceps 17 and 18 are inserted into the abdominal cavity 2 through perforations made at different positions in the abdominal wall 3 via trocars 15 and 16. Image data from the image sensor 12 of camera 1 is transmitted via cable 13 to image processing processor 19 . Further, the image processing processor 19 is electrically connected to a personal computer 20 for controlling imaging conditions and monitors 21 and 22 for viewing camera images.

図４は、カメラ１、画像処理プロセッサ１９、撮像条件コントロール用パソコン２０、およびモニター２１、２２の概略構成を示すブロック図である。画像処理プロセッサ１９は、機能ブロックとして、表示制御部１９１と、読出制御部１９２とを備えている。撮像条件コントロール用パソコン２０は、機能ブロックとして、領域設定部２０１と、フレームレート設定部２０２とを備えている。画像処理プロセッサ１９および撮像条件コントロール用パソコン２０は、特許請求の範囲に記載の画像処理装置に対応しており、これらを単体のコンピュータとして構成してもよい。また、画像処理プロセッサ１９および撮像条件コントロール用パソコン２０の少なくとも一部の機能を、カメラ１に搭載してもよい。 FIG. 4 is a block diagram showing a schematic configuration of the camera 1, the image processing processor 19, the imaging condition control personal computer 20, and the monitors 21 and 22. The image processing processor 19 includes a display control section 191 and a readout control section 192 as functional blocks. The imaging condition control personal computer 20 includes an area setting section 201 and a frame rate setting section 202 as functional blocks. The image processing processor 19 and the imaging condition control personal computer 20 correspond to the image processing apparatus described in the claims, and may be configured as a single computer. Furthermore, at least some of the functions of the image processing processor 19 and the imaging condition control personal computer 20 may be installed in the camera 1.

カメラ１に搭載されたイメージセンサ１２からは、イメージセンサ１２が撮影した第１の領域Ｒ１の画像データが画像処理プロセッサ１９に送信される。第１の領域Ｒ１は、イメージセンサ１２のほぼ全画素を使って撮影した腹腔２内の広領域である。領域設定部２０１は、ユーザの操作に応じて、第１の領域Ｒ１内に、第１の領域Ｒ１よりも小さい第２の領域Ｒ２を設定する。第２の領域Ｒ２は、イメージセンサ１２の一部の画素を使って撮影した腹腔２内の狭領域であり、本実施形態では、鉗子や電気メスなどが集中する患部２３を含む術野である。 From the image sensor 12 mounted on the camera 1, image data of the first region R1 photographed by the image sensor 12 is transmitted to the image processing processor 19. The first region R1 is a wide region within the abdominal cavity 2 photographed using almost all pixels of the image sensor 12. The region setting unit 201 sets a second region R2 smaller than the first region R1 within the first region R1 according to a user's operation. The second region R2 is a narrow region inside the abdominal cavity 2 photographed using some pixels of the image sensor 12, and in this embodiment, it is an operative field including the affected area 23 where forceps, electric scalpel, etc. are concentrated. .

表示制御部１９１は、第１の領域Ｒ１に対応する第１の画像および第２の領域Ｒ２に対応する第２の画像を異なる表示領域に表示させる。本実施形態では、表示制御部１９１は、第１の画像をモニター２１に表示させ、第２の画像をモニター２２に表示させる。モニター２１は、主に手術助手が見るためのものであり、モニター２２は、術者および手術助手が見るためのものである。なお、第１の画像および第２の画像を同じモニターの異なる表示領域に表示させてもよい。 The display control unit 191 displays a first image corresponding to the first region R1 and a second image corresponding to the second region R2 in different display regions. In this embodiment, the display control unit 191 displays the first image on the monitor 21 and displays the second image on the monitor 22. The monitor 21 is mainly for viewing by a surgical assistant, and the monitor 22 is for viewing by a surgeon and a surgical assistant. Note that the first image and the second image may be displayed in different display areas of the same monitor.

さらに図３には、腹腔２内の、手術を施している患部２３を持った臓器２４と、鉗子や電気メスなどを腹腔２内に挿入する際などに起きた出血部２５や、手術後の残留物としてのガーゼ２６についても表示している。ここで注目すべきは、術者が見ているモニター２２には、患部２３を含む第２の領域Ｒ２の第２の画像は映っているが、患部２３を含む術野の外で発生している出血部２５やガーゼ２６の画像は映っていない。しかしながら、腹腔内の広領域である第１の領域Ｒ１に対応する第１の画像にはこれらの残留物（出血部２５やガーゼ２６）も映っており、第１の画像が表示されたモニター２１を見ている手術助手等は、前記残留物の存在を認識することができる。 Furthermore, FIG. 3 shows an organ 24 in the abdominal cavity 2 with the affected area 23 undergoing surgery, a bleeding area 25 that occurred when inserting forceps or an electric scalpel into the abdominal cavity 2, and a bleeding area 25 after the surgery. Gauze 26 as a residue is also shown. What should be noted here is that although the second image of the second region R2 including the affected area 23 is displayed on the monitor 22 that the surgeon is looking at, the second image of the second area R2 including the affected area 23 is displayed outside the surgical field including the affected area 23. Images of the bleeding area 25 and gauze 26 are not shown. However, these residues (bleeding area 25 and gauze 26) are also shown in the first image corresponding to the first region R1, which is a wide area within the abdominal cavity, and the monitor 21 on which the first image was displayed also shows these residues. A surgical assistant or the like watching the procedure can recognize the presence of the residue.

図５は、本実施形態のカメラ１で腹腔２の内部を撮影した場合の、第１の領域Ｒ１および第２の領域Ｒ２に対応する第１の画像Ｇ１および第２の画像Ｇ２を模式的に描いた図である。図５（ａ）は、撮像条件コントロール用パソコン２０の図示しないモニターに表示された画像であり、該モニターには、第１の領域Ｒ１が表示される。第１の領域Ｒ１には、患部２３の他、臓器２４の出血部２５やガーゼ２６が含まれる。撮像条件コントロール用パソコン２０の領域設定部２０１は、第１の領域Ｒ１内に破線枠で示す第２の領域Ｒ２を設定する。第２の領域Ｒ２は、主に患部２３が含まれる術野である。 FIG. 5 schematically shows a first image G1 and a second image G2 corresponding to a first region R1 and a second region R2 when the inside of the abdominal cavity 2 is photographed with the camera 1 of this embodiment. This is a diagram I drew. FIG. 5A shows an image displayed on a monitor (not shown) of the imaging condition control personal computer 20, and the first region R1 is displayed on the monitor. The first region R1 includes, in addition to the affected area 23, a bleeding area 25 of the organ 24 and gauze 26. The area setting unit 201 of the imaging condition control personal computer 20 sets a second area R2 indicated by a broken line frame within the first area R1. The second region R2 is an operative field that mainly includes the affected area 23.

図５（ｂ）は、モニター２１に表示された第１の画像Ｇ１であり、図５（ｃ）は、モニター２２に表示された第２の画像Ｇ２である。術者に患部２３をより見え易くするために、画像処理プロセッサ１９の表示制御部１９１は、電子ズームにより、第２の画像Ｇ２を、第１の画像Ｇ１の第２の領域Ｒ２に対応する部分よりも大きく（約３倍程度に）表示させる。 5(b) is the first image G1 displayed on the monitor 21, and FIG. 5(c) is the second image G2 displayed on the monitor 22. In order to make the affected area 23 more visible to the surgeon, the display control unit 191 of the image processing processor 19 uses electronic zoom to display the second image G2 in a portion corresponding to the second region R2 of the first image G1. Display larger (approximately 3 times as large).

カメラ１に搭載した広角レンズ６の視野角が１００°で、その広角レンズ６から腹腔２内の臓器２４までの距離が約１５０ｍｍの場合、第１の領域Ｒ１はアスペクト比１６：９の場合、約３００ｍｍｘ１７０ｍｍとなり、腹腔２内のほぼ全領域を撮影することができる。 When the viewing angle of the wide-angle lens 6 mounted on the camera 1 is 100° and the distance from the wide-angle lens 6 to the organ 24 in the abdominal cavity 2 is about 150 mm, the first region R1 has an aspect ratio of 16:9, The size is about 300 mm x 170 mm, and almost the entire area inside the abdominal cavity 2 can be photographed.

術者は主に第２の画像Ｇ２（図５（ｃ））が映し出されているモニター２２の画面を見ながら手術などの処置作業を行う。術者以外の手術助手などは、モニター２１、２２に表示される第１の画像Ｇ１および第２の画像Ｇ２を適時見ながら、術者の処理作業が円滑に進むように適切なフォローを行う。また、術者から第２の領域Ｒ２の位置、サイズ変更、さらに画像の拡大（ズーム）の指示が出た場合、撮像条件コントロール用パソコン２０の領域設定部２０１によって、術者の指示に沿った位置、サイズに変更したり、画像を拡大することができる。 The operator performs treatment operations such as surgery while mainly looking at the screen of the monitor 22 on which the second image G2 (FIG. 5(c)) is displayed. A surgical assistant other than the surgeon watches the first image G1 and the second image G2 displayed on the monitors 21 and 22 from time to time and provides appropriate follow-up so that the surgeon's processing work proceeds smoothly. In addition, when the surgeon gives instructions to change the position and size of the second region R2, and to enlarge (zoom) the image, the region setting unit 201 of the imaging condition control computer 20 will adjust the position and size of the second region R2 according to the surgeon's instructions. You can change the position, size, and enlarge the image.

術者が処置作業をしている間に、何らかの異常が発見された場合、例えば、手術中に患部２３および患部近傍（術野）から離れた場所（第２の画像Ｇ２が映し出されているモニター２２には映っていない場所）から、図５（ａ）に示すような出血部２５が発見された場合は、第１の画像Ｇ１を映し出しているモニター２１を見ている、主に術者以外の手術助手などは、直ちにその異常事態に気付くことができ、止血などの適切な処置を施すことができる。また、処理作業完了後に、腹腔２内全体をモニター２１で確認して、例えば、図５（ａ）に示すようなガーゼ２６を発見した場合は、鉗子を使って直ちに取り出すなどの適切な処置を施すことができる。処置作業中の画像を録画しておけば、処置作業の内容を確認したり、異常発生の原因を究明したりすることにも利用することができる。 If some abnormality is discovered while the surgeon is performing treatment work, for example, during the surgery, the patient may be asked to check the affected area 23 and the area away from the vicinity of the affected area (operative field) (on the monitor where the second image G2 is displayed). If a bleeding area 25 as shown in FIG. 5(a) is discovered from a location not shown in 22), a person other than the operator who is looking at the monitor 21 displaying the first image G1 Surgical assistants and others can immediately notice the abnormal situation and take appropriate measures such as stopping the bleeding. In addition, after the processing work is completed, if the entire inside of the abdominal cavity 2 is checked on the monitor 21 and, for example, gauze 26 as shown in FIG. can be administered. If images are recorded during treatment, they can be used to confirm the details of the treatment or to investigate the cause of an abnormality.

（画像信号処理の方法）
図６に示すように、第１の領域Ｒ１を、カメラ１に搭載されたイメージセンサ１２のほぼ全画素を使って撮影した広領域（領域ＡＢＣＤ）とし、第２の領域Ｒ２を、イメージセンサ１２の一部の画素を使って撮影した狭領域（領域ＥＦＧＨ）とし、領域Ｒ１’を、第１の領域Ｒ１から第２の領域Ｒ２を除去した残りの領域（図６では塗りつぶしで表示）とする。 (Image signal processing method)
As shown in FIG. 6, the first region R1 is a wide region (region ABCD) photographed using almost all pixels of the image sensor 12 mounted on the camera 1, and the second region R2 is a wide region (region ABCD) photographed using almost all pixels of the image sensor 12 mounted on the camera 1. A narrow area (area EFGH) is taken using some pixels of , and area R1' is the remaining area after removing the second area R2 from the first area R1 (shown as filled in in FIG. 6). .

本実施形態では、イメージセンサ１２が、各画素内にメモリー機能を持つグローバルシャッター対応のＣＭＯＳイメージセンサであり、画像処理プロセッサ１９の読出制御部１９２は、イメージセンサ１２の前記画素から画像データを読出すタイミングを制御する。具体的には、読出制御部１９２は、第１の領域Ｒ１に対応する画素から画像データを読出す周期を、第２の領域Ｒ２に対応する画素から画像データを読出す周期よりも長くする。また、読出制御部１９２は、第１の領域Ｒ１に対応する画素から画像データを読出すタイミングと、第２の領域Ｒ２に対応する画素から画像データを読出すタイミングとを異ならせる。このような制御の一例を、図７および図８を参照して説明する。 In this embodiment, the image sensor 12 is a global shutter compatible CMOS image sensor that has a memory function in each pixel, and the readout control unit 192 of the image processing processor 19 reads image data from the pixels of the image sensor 12. Control the timing. Specifically, the readout control unit 192 makes the cycle of reading image data from pixels corresponding to the first region R1 longer than the cycle of reading image data from pixels corresponding to the second region R2. Further, the readout control unit 192 makes the timing at which image data is read out from the pixels corresponding to the first region R1 and the timing at which image data is read out from the pixels corresponding to the second region R2 different from each other. An example of such control will be described with reference to FIGS. 7 and 8.

図７は、第１の領域Ｒ１および第２の領域Ｒ２の画素信号の読出しタイミングと、残りの領域Ｒ１’および第２の領域Ｒ２の画素信号の蓄積時間を、時系列に模式的に表した図である。ここでは一例として、第１の領域Ｒ１および第２の領域Ｒ２の画素信号の読出し速度（フレームレート）を、それぞれ１０ｆｐｓおよび３０ｆｐｓとし、第１の領域Ｒ１の画像データを１回読出している間に、第２の領域Ｒ２は３回読出している場合を想定している。また、図中の○印は領域Ｒ１’の画素から読出された画素信号（電荷）を表し、●印は第２の領域Ｒ２の画素から読出された画素信号を表している。 FIG. 7 schematically represents the readout timing of pixel signals in the first region R1 and the second region R2 and the accumulation time of the pixel signals in the remaining region R1' and the second region R2 in a time series. It is a diagram. Here, as an example, the readout speeds (frame rates) of pixel signals in the first region R1 and the second region R2 are set to 10 fps and 30 fps, respectively, and while the image data of the first region R1 is read out once, , it is assumed that the second region R2 is read three times. Further, the ◯ marks in the figure represent pixel signals (charges) read out from the pixels in the region R1', and the ● marks represent the pixel signals read out from the pixels in the second region R2.

時刻ｔ１で第１の領域Ｒ１の画素（フォトダイオード）から１フレーム分の画素信号を読出して、１／１０秒後のｔ２までの間に、読出した画素信号を画素データとして出力する。この出力が完了する時刻ｔ２までの間に、第１の領域Ｒ１の画素では次のフレームの画素信号の蓄積が開始される。続いて時刻ｔ２で、時刻ｔ１～ｔ２間で蓄積された第１の領域Ｒ１の画素の画素信号を読出して、１／１０秒後のｔ３までの間に画素データとして出力し、この出力が完了する時刻ｔ３までの間に、第１の領域Ｒ１の画素に画素信号が蓄積される。これを繰り返す。１／１０秒の間に蓄積される画素信号は、領域Ｒ１’では画素の容量分（図中では３０個の○印で表記）であるが、後述するように、第２の領域Ｒ２では本来画素に蓄積されている容量の１／６（図中では５個の●印で表記）である。すなわち、時刻ｔ１、ｔ２、…で第１の領域Ｒ１の画素から読出される画素信号は、図中では３０個の○印と５個の●印となる。 At time t1, pixel signals for one frame are read out from the pixels (photodiodes) in the first region R1, and the read out pixel signals are output as pixel data by t2 1/10 second later. Until time t2 when this output is completed, the pixels in the first region R1 start accumulating pixel signals for the next frame. Next, at time t2, the pixel signals of the pixels in the first region R1 accumulated between times t1 and t2 are read out and output as pixel data until t3, which is 1/10 second later, and this output is completed. Until time t3, pixel signals are accumulated in the pixels of the first region R1. Repeat this. The pixel signal accumulated during 1/10 second is equal to the capacity of the pixel in the region R1' (indicated by 30 circles in the figure), but as described later, in the second region R2, the pixel signal is This is 1/6 of the capacity stored in the pixel (indicated by five ● marks in the figure). That is, the pixel signals read from the pixels in the first region R1 at times t1, t2, . . . are represented by 30 O marks and 5 ● marks in the figure.

一方、第２の領域Ｒ２の画素信号の読出しタイミングと画素データの出力については、図７のように、時刻ｔ１から１／６０秒後の時刻ｕ１で第２の領域Ｒ２の画素から１フレーム分の画素信号を読出して、１／３０秒後のｕ２までの間に読出した画素信号を画素データとして出力する。この出力が完了する時刻ｕ２までの間に、第２の領域Ｒ２の画素に次のフレームの画素信号の蓄積が開始される。続いて時刻ｕ２で、時刻ｕ１～ｕ２間で蓄積された第２の領域Ｒ２の画素の電荷を読出して、１／３０秒後のｕ３までの間に画素データとして出力し、この出力が完了する時刻ｕ３までの間に、第２の領域Ｒ２の画素に電荷が蓄積される。これを時刻ｕ３、ｕ４、…で繰り返す。 On the other hand, regarding the readout timing of pixel signals in the second region R2 and the output of pixel data, as shown in FIG. The pixel signals read out until u2 1/30 seconds later are output as pixel data. Until the time u2 when this output is completed, accumulation of pixel signals of the next frame is started in the pixels of the second region R2. Next, at time u2, the charges of the pixels in the second region R2 accumulated between times u1 and u2 are read out and output as pixel data until u3, 1/30 seconds later, and this output is completed. Charges are accumulated in the pixels of the second region R2 until time u3. This is repeated at times u3, u4, . . .

第１の領域Ｒ１の画像信号読出し時（時刻ｔ１、ｔ２、…）に読出される第２の領域Ｒ２の画素信号量は、蓄積時間が例えば時刻ｕ３～ｔ２の１／６０秒であるため、１／１０秒の間に蓄積される画素信号の１／６となる。そのため、第１の領域Ｒ１の画像信号読出し時に読出される第２の領域Ｒ２の画素信号量は、第２の領域Ｒ２のみの画像信号読出し時（時刻ｕ１、ｕ２、…）に読出される画素信号量（蓄積時間１／３０秒）の半分であり、第２の領域Ｒ２の輝度は周囲（領域Ｒ１’）の１／６に低減する。これは、例えば、時刻ｔ２の時点で領域Ｒ１’の画素に蓄積されている電荷量は、時刻ｔ１から時刻ｔ２の間の１／１０秒間に光電変換されたものであるが、第２の領域Ｒ２の画素からは、時刻ｔ１から時刻ｔ２の間に、既に時刻ｕ１、ｕ２、ｕ３で１／３０秒ごとに電荷が３回読出されているので、時刻ｔ２の時点で第２の領域Ｒ２の画素に蓄積されている電荷量は、時刻ｕ３から１／６０秒後までの間に光電変換されたものとなるためである。ただ現実的には、腹腔鏡手術を行っている術者は、第２の領域Ｒ２の画像（術野）を拡大して見ているので、第１の領域Ｒ１の画像（腹腔内全体）の中の第２の領域Ｒ２の画像は少々暗くても実用上、支障はない。ただ第２の領域Ｒ２の画像の輝度低減が気になるようであれば、第１の領域Ｒ１の画像データ出力時にゲインを上げる操作を実施しても良い。 The pixel signal amount of the second region R2 read out when the image signal of the first region R1 is read out (times t1, t2, . . . ) is because the accumulation time is, for example, 1/60 second from time u3 to time t2. This is 1/6 of the pixel signal accumulated during 1/10 seconds. Therefore, the pixel signal amount of the second region R2 read out when reading out the image signal of the first region R1 is the same as that of the pixel signal read out when reading out the image signal of only the second region R2 (times u1, u2,...). This is half the signal amount (accumulation time 1/30 seconds), and the brightness of the second region R2 is reduced to 1/6 of the surrounding area (region R1'). This means that, for example, the amount of charge accumulated in the pixels of region R1' at time t2 is photoelectrically converted during 1/10 second between time t1 and time t2; From time t1 to time t2, charges have already been read out three times every 1/30 seconds at times u1, u2, and u3 from the pixel in R2, so at time t2, the charge in the second region R2 is This is because the amount of charge accumulated in the pixel is photoelectrically converted from time u3 until 1/60 second later. However, in reality, the operator performing laparoscopic surgery magnifies the image of the second region R2 (operative field), so the image of the first region R1 (the entire abdominal cavity) Even if the image of the second region R2 inside is a little dark, there is no problem in practical use. However, if you are concerned about the reduction in brightness of the image in the second region R2, you may perform an operation to increase the gain when outputting the image data in the first region R1.

時刻ｔ２の直後の第２の領域Ｒ２の画素信号読出し時（時刻ｕ４）に読出される画像信号量も、時刻ｕ４の時点で第２の領域Ｒ２の画素に蓄積されている電荷量は、時刻ｔ２から時刻ｕ４の間の１／６０秒間に光電変換されたものとなり（時刻ｕ３から時刻ｔ２の間の１／６０秒間に光電変換された第２の領域Ｒ２の画素に蓄積されている電荷は、時刻ｔ２の時点ですでに第１の領域Ｒ１の信号として読出されているため）、時刻ｕ３で読出される画素信号の半分になる。しかし、第２の領域Ｒ２のフレーム中、輝度が半分になるフレームは全フレームの１／３であるため、術者への見え方に影響はない。 The amount of image signals read out when pixel signals in the second region R2 are read out immediately after time t2 (time u4) is also the same as the amount of charge accumulated in the pixels in the second region R2 at time u4. The charges accumulated in the pixels of the second region R2 that were photoelectrically converted during 1/60 seconds between time u3 and time t2 are , since it has already been read out as a signal of the first region R1 at time t2), it becomes half of the pixel signal read out at time u3. However, among the frames in the second region R2, the frame where the luminance is halved is ⅓ of all frames, so there is no effect on how the operator sees it.

図７の中で、第２の領域Ｒ２の画像信号読出し、データ出力動作を時系列で追っていくと、下記のようになる。
（１）画素信号（７）読出し：時刻ｔ１で開始
（２）画素信号（３）読出し：時刻ｕ１（時刻ｔ１から１／６０秒後）で開始
（３）（２）で読出した画素データ出力：時刻ｕ２で完了
（４）画素信号（５）読出し：時刻ｕ２（時刻ｕ１から１／３０秒後）で開始
（５）（４）で読出した画素データ出力：時刻ｕ３で完了
（６）画素信号（８）読出し：時刻ｕ３（時刻ｕ２から１／３０秒後）で開始
（７）（１）で読出した画素データ出力：時刻ｔ２で完了
（８）（６）で読出した画素データ出力：時刻ｕ４で完了 In FIG. 7, the image signal readout and data output operations in the second region R2 are followed in chronological order as follows.
(1) Pixel signal (7) readout: Starts at time t1 (2) Pixel signal (3) readout: Starts at time u1 (1/60 seconds after time t1) (3) Output of pixel data read out in (2) : Completed at time u2 (4) Pixel signal (5) reading: Started at time u2 (1/30 seconds after time u1) (5) Pixel data output read in (4): Completed at time u3 (6) Pixel Signal (8) readout: Start at time u3 (1/30 seconds after time u2) (7) Output of pixel data read out in (1): Completed at time t2 (8) Output pixel data read out in (6): Completed at time u4

カメラ１に搭載されたイメージセンサ１２が、画素内にメモリー機能を持つイメージセンサ（例えば、グローバルシャッター対応のＣＭＯＳイメージセンサ）である場合、時刻ｔ１で第１の領域Ｒ１の画素から読出された画素信号は、一旦前記メモリーに転送され、時刻ｔ１から１／１０秒の間に画素データが出力される。一方、時刻ｕ１、ｕ２、ｕ３で１／３０秒ごとに第２の領域Ｒ２の画素から読出された画素信号も（上記（２）、（４）、（６））、同様に前記メモリーに転送され、それぞれ１／３０秒間に画像データ出力される（上記（３）、（５）、（８））。 If the image sensor 12 mounted on the camera 1 is an image sensor having a memory function in the pixel (for example, a CMOS image sensor compatible with global shutter), the pixel read from the pixel in the first region R1 at time t1 The signal is once transferred to the memory, and pixel data is output for 1/10 seconds from time t1. On the other hand, pixel signals read from pixels in the second region R2 every 1/30 seconds at times u1, u2, and u3 ((2), (4), and (6) above) are also transferred to the memory in the same way. and image data is output every 1/30 seconds ((3), (5), (8) above).

図８は、第１の領域Ｒ１および第２の領域Ｒ２の画素信号読出し時に読出される画像（イメージ図）を、図７の読出しタイミング（ｔ１、ｔ２、…、およびｕ１、ｕ２、…）に合わせて嵌め込んで模式的に表した図である。図７および図８では、第１の領域Ｒ１および第２の領域Ｒ２のフレームレートを、１０ｆｐｓおよび３０ｆｐｓとしたが、必ずしもこれに限定されるものではない。第２の領域Ｒ２の画像のフレームレートが、第１の領域Ｒ１の画像のフレームレートよりも大きければ良く、第１の領域Ｒ１の画像データを読出してデータ出力している期間内に、第２の領域Ｒ２の画像データを少なくとも１回以上読出してデータ出力するのであれば良い。すなわち、読出制御部１９２は、第１の領域Ｒ１の画素から画素信号を読出す周期を、第２の領域Ｒ２の画素から画素信号を読出す周期よりも長くすれば良い。これにより、第１の領域Ｒ１の画像のフレームレートが小さいため、第１の領域Ｒ１および第２の領域Ｒ２の各画像のフレームレートがどちらも３０ｆｐｓである場合に比べ、ネットワークや画像処理プロセッサ１９への負荷を低減することができる。また、第２の領域Ｒ２の画像のフレームレートが大きいため、手術に支障を来すことはない。よって、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができる。 FIG. 8 shows an image (image diagram) read out during pixel signal readout of the first region R1 and second region R2, aligned with the readout timing (t1, t2, ..., and u1, u2, ...) of FIG. FIG. In FIGS. 7 and 8, the frame rates of the first region R1 and the second region R2 are 10 fps and 30 fps, but the frame rate is not necessarily limited to this. It is sufficient that the frame rate of the image in the second region R2 is higher than the frame rate of the image in the first region R1, and the second region It is sufficient if the image data of the area R2 is read out at least once and outputted. That is, the readout control unit 192 may make the period for reading out pixel signals from the pixels in the first region R1 longer than the period for reading out the pixel signals from the pixels in the second region R2. As a result, since the frame rate of the image in the first region R1 is low, compared to the case where the frame rate of each image in the first region R1 and the second region R2 is both 30 fps, the network and image processing processor 19 It is possible to reduce the load on Furthermore, since the frame rate of the image in the second region R2 is high, there is no problem in the surgery. Therefore, it is possible to reduce the load on the network and image processing processor without causing any hindrance to the surgery.

第１の領域Ｒ１の第２の領域Ｒ２以外の領域は、出血や残留物の有無を確認できればよいため、第１の領域Ｒ１の画像のフレームレートは１～２４ｆｐｓであることが望ましい。一方、第２の領域Ｒ２には患部が含まれるため、第２の領域Ｒ２の画像のフレームレートは１２～６０ｆｐｓであることが望ましい。出来れば、読出制御部１９２は、第１の領域Ｒ１の画素から画素信号を読出すタイミングと、第２の領域Ｒ２の画素から画素信号を読出すタイミングとを異ならせることが望ましい。すなわち、読出制御部１９２は、第１の領域Ｒ１と第２の領域Ｒ２の画像データが同時に出力されることのないように設定されることが望ましい。 In the first region R1 other than the second region R2, it is sufficient to confirm the presence or absence of bleeding or residue, so it is desirable that the frame rate of the image of the first region R1 is 1 to 24 fps. On the other hand, since the second region R2 includes the affected area, it is desirable that the frame rate of the image of the second region R2 is 12 to 60 fps. If possible, it is desirable for the readout control unit 192 to make the timing at which pixel signals are read out from the pixels in the first region R1 different from the timing at which the pixel signals are read out from the pixels in the second region R2. That is, it is desirable that the readout control unit 192 be set so that the image data of the first region R1 and the second region R2 are not output at the same time.

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various changes can be made without departing from the spirit thereof.

以下、本発明の実施例について説明するが、ここでは本技術であるイメージセンサから画像データを読出してデータ出力する場合の撮像例を挙げることが目的であるため、被写体としては実際の腹腔鏡手術での撮影例ではなく、暗幕で囲んだ空間に果物を配置した静物であることを付記しておく。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 Examples of the present invention will be described below, but since the purpose here is to give an example of imaging when image data is read out and output from the image sensor of this technology, the subject is an actual laparoscopic surgery. I would like to add that this is not an example of a photograph taken in the 2000s, but a still life of fruits arranged in a space surrounded by a blackout curtain. For convenience of explanation, members having the same functions as those described in the above embodiments will be denoted by the same reference numerals, and the description thereof will be omitted.

本実施例で用いられるカメラは、図１に示すカメラ１と同じ構成である。カメラ１の本体部８に組み込まれているカメラモジュールには、グローバルシャッター対応の２／３型５ＭＣＭＯＳセンサが搭載されており、本体部８の腹腔２側には、超小型のＬＥＤ照明装置１０およびイメージセンサ１２が取り付けてある。イメージセンサ１２から被写体である静物までの距離は約１８０ｍｍである。また該カメラモジュールには、光学式手振れ補正ＯＩＳ（ＯｐｔｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚｅｒ）が組み込まれており、視野角８６°の広角レンズ６が装着されている。該カメラモジュールから取り出された信号は、図３に示す画像処理プロセッサ１９を介して撮像条件コントロール用パソコン２０と２台のモニター２１、２２に送信され、被写体の映像を確認できるようになっている。 The camera used in this example has the same configuration as camera 1 shown in FIG. The camera module built into the main body 8 of the camera 1 is equipped with a 2/3 type 5 MCMOS sensor compatible with a global shutter, and on the abdominal cavity 2 side of the main body 8, an ultra-small LED lighting device 10 and An image sensor 12 is attached. The distance from the image sensor 12 to the still life object is approximately 180 mm. The camera module also incorporates an optical image stabilizer (OIS) and is equipped with a wide-angle lens 6 having a viewing angle of 86°. The signal taken out from the camera module is transmitted via the image processing processor 19 shown in FIG. 3 to a personal computer 20 for controlling imaging conditions and two monitors 21 and 22, so that the image of the subject can be confirmed. .

本実施例で撮影した映像を図９に示す。図９（ａ）は、アスペクト比１６：９のモニターに表示した場合に約２８０ｍｍｘ１６０ｍｍとなるように、広領域の第１の領域Ｒ１を通常の読出し方法で撮影した映像例である。図９（ｂ）は、広領域の第１の領域Ｒ１をアスペクト比１６：９で水平画素数１，９２０画素を使って１０ｆｐｓで撮影した撮像例であり、図９（ｃ）は、広領域の第１の領域Ｒ１内に設定された狭領域の第２の領域Ｒ２をアスペクト比１６：９で水平画素数６４０画素を使って３０ｆｐｓで出力し、電子ズーム機能を用いて約３倍に拡大した撮像例である。 FIG. 9 shows an image taken in this example. FIG. 9A is an example of a video image taken using a normal reading method of a wide first region R1 so as to be approximately 280 mm x 160 mm when displayed on a monitor with an aspect ratio of 16:9. FIG. 9(b) is an example of imaging in which the first region R1 of a wide area is photographed at 10 fps using an aspect ratio of 16:9 and 1,920 horizontal pixels. Output the narrow second region R2 set within the first region R1 at 30 fps with an aspect ratio of 16:9 and 640 horizontal pixels, and enlarge it approximately 3 times using the electronic zoom function. This is an example of imaging.

図９（ｂ）の第１の領域Ｒ１の撮像例では、白の破線で囲んだ領域（第２の領域Ｒ２）の画像が、周囲（領域Ｒ１’）よりも暗いのは、前述したように、第２の領域Ｒ２の画素から読出される画素信号の量が領域Ｒ１’の１／６しかないためであるが、第２の領域Ｒ２の画像はもう一方のモニターで確認できるので、実用上問題はなく、必要とあれば第１の領域Ｒ１の画像データ出力時のゲインを上げても良い。 In the imaging example of the first region R1 in FIG. 9(b), the image of the region surrounded by the white dashed line (second region R2) is darker than the surrounding area (region R1'), as described above. This is because the amount of pixel signals read out from the pixels in the second region R2 is only 1/6 of that in the region R1', but since the image in the second region R2 can be confirmed on the other monitor, it is practically There is no problem, and if necessary, the gain at the time of outputting the image data of the first region R1 may be increased.

また腹腔鏡手術においては、図３に示すように、トロッカ１５、１６を介して腹腔２内に挿入された鉗子１７、１８や電気メス、縫合用ステープラなどの処置具が移動することによって、腹壁３が振動し、カメラ１の画像にブレが生じることがある。特に拡大した映像ではブレの影響は大きくなる。本実施例では、カメラモジュールに光学式手振れ補正ＯＩＳ（ＯｐｔｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚｅｒ）を組み込んでいるので、該振動の影響を抑えることができる。また、前記ブレを抑えるためのスタビライザ（図は省略）を設置しても良く、さらにカメラ１を固定している固定ユニットを、上部から吊り下げられる器具を設けて、カメラ１を安定に設置できるような処置を取っても良い。 In addition, in laparoscopic surgery, as shown in FIG. 3, treatment instruments such as forceps 17 and 18, an electric scalpel, and a suture stapler inserted into the abdominal cavity 2 via trocars 15 and 16 move, thereby causing damage to the abdominal wall. 3 may vibrate, causing blur in the image taken by camera 1. The effect of blurring is particularly large in enlarged images. In this embodiment, since the camera module incorporates an optical image stabilizer (OIS), the influence of the vibration can be suppressed. In addition, a stabilizer (not shown) may be installed to suppress the camera shake, and a device can be installed to hang the fixing unit that fixes the camera 1 from above, so that the camera 1 can be stably installed. You may take similar measures.

［付記事項］
以上記載した実施例では、撮像条件コントロール用パソコン２０を電気的に繋いでいるが、代わりにタッチパネルで操作できるタブレットやスマートフォンを無線で繋いで、第２の領域Ｒ２の位置、サイズの変更や電子ズーム操作を遠隔で行っても良い。 [Additional notes]
In the embodiment described above, the personal computer 20 for controlling the imaging conditions is electrically connected, but instead, a tablet or smartphone that can be operated with a touch panel is connected wirelessly to change the position and size of the second region R2, and Zoom operations may also be performed remotely.

上記の実施形態では、腹腔内に二酸化炭素ガスを注入して行う従来手技の腹腔鏡手術を例に挙げて以下に説明したが、本発明は、上記の実施形態に限定されるものではなく、腹腔鏡手術以外の胸腔鏡手術用カメラや、固定ユニットを変更することによって、子宮頸がん検査に使われるコルポスコープ、手術用ヘッドマウントカメラなどの医療用カメラや、さらに建設現場などで使われる業務用ウェアラブルカメラなどにも適用することができる。例えば、体壁に設置するだけでなく、カメラを装着する際に用いる固定ユニットを業務用ウェアラブルカメラとして使えるように変更すれば、現場の広領域の映像だけでなく、注目したい領域を絞って、電子ズームで拡大するなどを遠隔操作で行うことによって、見落としがちな周囲の状況を把握しながら、作業を円滑に進めることができる。 In the above embodiment, a conventional technique of laparoscopic surgery performed by injecting carbon dioxide gas into the abdominal cavity is described below as an example, but the present invention is not limited to the above embodiment. By changing the fixation unit, it can be used in cameras for thoracoscopic surgery other than laparoscopic surgery, colposcopes used for cervical cancer examinations, medical cameras such as surgical head-mounted cameras, and even at construction sites. It can also be applied to professional wearable cameras. For example, in addition to installing it on the body wall, if you change the fixed unit used to attach the camera so that it can be used as a professional wearable camera, you can not only capture a wide area of the scene, but also narrow down the area you want to focus on. By remotely controlling things such as electronic zooming, you can keep track of your surroundings, which are often overlooked, and work smoothly.

１：体腔内手術用カメラ
２：腹腔
３：腹壁
４、１５、１６：トロッカ
５：創縁保護器具
６：広角レンズ
７：ストッパ
８：本体部
９：カメラ支持管
１０：ＬＥＤ照明装置
１１：逆止弁
１２：イメージセンサ
１３：ケーブル
１４：患者
１７、１８：鉗子
１９：画像処理プロセッサ
１９１：表示制御部
１９２：読出制御部
２０：撮像条件コントロール用パソコン
２０１：領域設定部
２０２：フレームレート設定部
２１、２２：モニター
２３：患部
２４：臓器
２５：出血部
２６：ガーゼ
１００：カメラシステム 1: Intrabody cavity surgical camera 2: Abdominal cavity 3: Abdominal wall 4, 15, 16: Trocar 5: Wound edge protection device 6: Wide-angle lens 7: Stopper 8: Main body 9: Camera support tube 10: LED lighting device 11: Reverse Stop valve 12: Image sensor 13: Cable 14: Patients 17 and 18: Forceps 19: Image processing processor 191: Display control section 192: Readout control section 20: Imaging condition control personal computer 201: Area setting section 202: Frame rate setting section 21, 22: Monitor 23: Affected area 24: Organ 25: Bleeding area 26: Gauze 100: Camera system

Claims

人間の体壁に装着するための体腔内手術用カメラに搭載されたイメージセンサからの画像データを処理する画像処理装置であって、
前記イメージセンサが撮影した第１の領域内に、前記第１の領域よりも小さい第２の領域を設定する領域設定部と、
前記第１の領域に対応する第１の画像および前記第２の領域に対応する第２の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第２の画像のフレームレートが前記第１の画像のフレームレートよりも大きく、
前記イメージセンサが、各画素内にメモリー機能を持ち、
前記画像処理装置は、
前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第１の領域の画素から画素信号を読出す周期を、前記第２の領域の画素から画素信号を読出す周期よりも長くするとともに、前記第１の領域の画素から画素信号を読出すタイミングと、前記第２の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、画像処理装置。 An image processing device that processes image data from an image sensor mounted on an intracorporeal surgical camera to be attached to a human body wall,
an area setting unit that sets a second area smaller than the first area within the first area photographed by the image sensor;
a display control unit that displays a first image corresponding to the first area and a second image corresponding to the second area in different display areas;
Equipped with
the frame rate of the second image is higher than the frame rate of the first image,
The image sensor has a memory function in each pixel,
The image processing device includes:
comprising a readout control unit that controls timing for reading out pixel signals from the pixels of the image sensor;
The readout control unit is configured to read out pixel signals from pixels in the first area at a longer period than at pixels in the second area, and read out pixel signals from pixels in the first area at An image processing device, characterized in that the timing at which pixel signals are read out and the timing at which pixel signals are read out from pixels in the second region are made different .

前記表示制御部は、前記第２の画像を、前記第１の画像の前記第２の領域に対応する部分よりも大きく表示させる、請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the display control unit displays the second image larger than a portion of the first image corresponding to the second area.

前記第１の画像のフレームレートは１～２４ｆｐｓである、請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the first image has a frame rate of 1 to 24 fps.

前記第２の画像のフレームレートは１２～６０ｆｐｓである、請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the frame rate of the second image is 12 to 60 fps.

請求項１～４のいずれかに記載の画像処理装置と、
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、を備える、カメラシステム。 The image processing device according to any one of claims 1 to 4 ,
A camera system comprising: an intracorporeal surgical camera for mounting on a human body wall, connected to the image processing device.

前記体腔内手術用カメラは、固定ユニットに装着された状態で用いられ、少なくとも前記イメージセンサを覆うレンズは、該レンズへの入射光が前記固定ユニットおよび前記体壁によって遮断されないように、前記体腔内に突出していることを特徴とする、請求項５に記載のカメラシステム。 The camera for intrabody cavity surgery is used while being attached to a fixation unit, and a lens covering at least the image sensor is attached to the body cavity so that light incident on the lens is not blocked by the fixation unit and the body wall. Camera system according to claim 5 , characterized in that it projects inward.

前記体腔内手術用カメラは、広角レンズを搭載していることを特徴とする請求項５に記載のカメラシステム。 6. The camera system according to claim 5 , wherein the camera for intrabody cavity surgery is equipped with a wide-angle lens.