WO2018127958A1 - 光走査型画像形成装置および光走査型内視鏡システム - Google Patents

光走査型画像形成装置および光走査型内視鏡システム Download PDF

Info

Publication number
WO2018127958A1
WO2018127958A1 PCT/JP2017/000168 JP2017000168W WO2018127958A1 WO 2018127958 A1 WO2018127958 A1 WO 2018127958A1 JP 2017000168 W JP2017000168 W JP 2017000168W WO 2018127958 A1 WO2018127958 A1 WO 2018127958A1
Authority
WO
WIPO (PCT)
Prior art keywords
drive waveform
image
unit
optical scanning
scanning
Prior art date
Application number
PCT/JP2017/000168
Other languages
English (en)
French (fr)
Inventor
西村　淳一
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/000168 priority Critical patent/WO2018127958A1/ja
Publication of WO2018127958A1 publication Critical patent/WO2018127958A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Definitions

  • the present invention relates to an optical scanning image forming apparatus and an optical scanning endoscope system.
  • a scanning endoscope that scans light emitted from an optical fiber by vibrating the optical fiber along a spiral scanning locus and receives reflected light from a position on the scanning locus to form an image. It is known (for example, refer to Patent Document 1).
  • Patent Document 1 When the interval of the scanning trajectory is wide, a defective pixel that does not have a gradation value and appears as a black dot occurs in the generated image.
  • Patent Document 1 the occurrence of a defective pixel is prevented by adjusting the interval of the scanning locus so as to coincide with the target value.
  • Patent Document 1 in order to reduce the interval between scanning trajectories to a target value, it is necessary to increase the number of vibrations of the optical fiber per image frame. Therefore, there is a problem that the scanning time per frame becomes long and the frame rate is lowered. Although it is possible to maintain a high frame rate by increasing the drive frequency of the optical fiber, in that case, a huge amount of processing must be performed at a high speed and the load on the actuator increases.
  • the present invention has been made in view of the above-described circumstances, and provides an optical scanning image forming apparatus and an optical scanning endoscope system capable of preventing the occurrence of defective pixels while maintaining a high frame rate.
  • the purpose is to do.
  • a light source unit that outputs illumination light
  • a drive waveform generation unit that generates a drive waveform
  • a drive waveform generated by the drive waveform generation unit that emits illumination light output from the light source unit
  • a light scanning unit that scans on the subject according to the above
  • a light detection unit that detects the observation light generated in the subject by irradiation of the illumination light and obtains a gradation value based on the observation light, and 2 in a time axis direction.
  • the phase of the drive waveform generated by the drive waveform generation unit so as to give a phase difference to the drive waveform between the predetermined number of frames in a set of frame periods in which images of the predetermined number of frames are acquired.
  • An image processing unit that obtains a set of images composed of images of the predetermined number of frames, and the image processing unit determines whether or not the image includes a defective pixel having no gradation value, and the image Is an optical scanning type image forming apparatus that interpolates the gradation value of a defective pixel using a gradation value in an image constituting a group obtained in the past than a group including the image when the pixel includes a defective pixel .
  • the illumination light output from the light source unit is scanned on the subject by the light scanning unit, the observation light generated at the illumination light irradiation position is detected by the light detection unit, and the observation light is detected.
  • One frame image is generated by the image processing unit during one frame period from the gradation value based on the above and the irradiation position of the illumination light.
  • the drive waveforms in a predetermined number of consecutive frame periods have different phases, the scanning traces of illumination light are different from each other in images of a predetermined number of consecutive frames.
  • an image equivalent to the case where the density of the scanning trajectory is increased is obtained from the images of a predetermined number of frames having different scanning trajectories. That is, the density of scanning trajectories can be substantially increased without reducing the frame rate. Thereby, it is possible to prevent the occurrence of defective pixels while maintaining a high frame rate.
  • the phase setting unit may set a number obtained by dividing 360 ° by the predetermined number as the phase difference.
  • the phase difference can be easily set so that the scanning trajectories are different from each other in images of a predetermined number of consecutive frames.
  • an image equivalent to or close to that obtained when the density of the scanning trajectory is increased by a predetermined number of times can be obtained from images of a predetermined number of consecutive frames.
  • the first aspect may include an output unit that outputs the image generated by the image processing unit for each frame.
  • an output unit that outputs the image generated by the image processing unit for each frame.
  • the image processing unit generates a composite image by combining the images of the predetermined number of frames constituting the same set, and the composite image generated by the image processing unit is used as the composite image. You may provide the output part which outputs. By doing in this way, it is possible to obtain a composite image having a higher resolution than individual images.
  • the resolution is improved by increasing the length of one frame period, the distance at which the illumination light is scanned is increased and the irradiation positions at which the illumination light is sampled are dispersed, thereby improving the resolution. Can do.
  • the drive waveform generation unit may generate the drive waveform that smoothly continues between two frame periods adjacent in the time axis direction. By doing so, it is possible to stabilize the operation of the optical scanning unit during the transition from the frame period to the next frame period while maintaining the frame rate. A discontinuous change in the drive waveform at the boundary between adjacent frame periods is not preferable because the operation of the optical scanning unit becomes unstable. In order to ensure a stable operation of the optical scanning unit, when a blank period for continuation of the drive waveform is provided between the frame periods, the frame rate is lowered.
  • the drive waveform generation unit may generate the drive waveform that is different only in the phase between the predetermined number of frames. By doing so, stable driving of the optical scanning unit can be realized during a plurality of frame periods, and a stable image can be generated.
  • the drive waveform generation unit generates the amplitude-modulated drive waveform, and the shape of the envelope of the amplitude-modulated drive waveform is the same among the predetermined number of frames.
  • the drive waveform may be amplitude-modulated. By doing so, a stable scanning locus can be obtained.
  • the drive waveform generation unit may generate the drive waveform that is amplitude-modulated with a period equal to the frame period. By doing so, a stable scanning locus can be obtained.
  • a second aspect of the present invention is an optical scanning endoscope system including any of the optical scanning image forming apparatuses described above.
  • FIG. 1 is an external view showing an overall configuration of an optical scanning endoscope system according to an embodiment of the present invention. It is a block diagram which shows the whole structure of the optical scanning type image forming apparatus mounted in the optical scanning type endoscope system of FIG.
  • FIG. 3 is a diagram illustrating a set of drive waveforms generated by a drive waveform generation unit of the optical scanning image forming apparatus of FIG. 2.
  • FIG. 3 is a diagram illustrating a scanning trajectory of illumination light and an apparent scanning trajectory by an optical scanning unit of the optical scanning image forming apparatus in FIG. 2.
  • FIG. 3 is a diagram illustrating tone value interpolation processing by a black point processing unit of the optical scanning image forming apparatus of FIG. 2.
  • 3 is a flowchart for explaining the operation of the optical scanning image forming apparatus in FIG. 2.
  • FIG. 3 is a block diagram illustrating an overall configuration of a modification of the optical scanning image forming apparatus of FIG.
  • an optical scanning endoscope system 1 includes an endoscope 2 having an elongated scope 2 a inserted into the body, and a control device connected to the endoscope 2.
  • a main body 3 and a display 4 connected to the control device main body 3 are provided.
  • the optical scanning endoscope system 1 scans illumination light emitted from the distal end of the scope 2a on the subject A along the spiral scanning trajectories B1 and B2, and acquires an image of the subject A.
  • the optical scanning image forming apparatus is mounted on the optical scanning endoscope system 1, and as shown in FIG. 2, a light source unit 5 that emits illumination light and illumination light supplied from the light source unit 5.
  • An optical scanning unit 6 that irradiates the subject A while scanning, a drive waveform generation unit 7 that generates a drive waveform for driving the optical scanning unit 6, and a phase of a drive signal generated by the drive waveform generation unit 7
  • a phase setting unit 8 for setting the image
  • a light detection unit 9 for detecting the observation light from the subject A to obtain a gradation value
  • an image processing unit for drawing an image by associating the gradation value with the irradiation position of the illumination light 10 and an output unit 11 that outputs an image generated by the image processing unit 10 to the display 4.
  • the light source unit 5, the drive waveform generation unit 7, the phase setting unit 8, and the image processing unit 10 are provided in the control device main body 3, and the light scanning unit 6 and the light detection unit 9 extend over the endoscope 2 and the control device main
  • the light source unit 5 includes a laser light source (not shown) that outputs laser light as illumination light.
  • the optical scanning unit 6 scans the illumination light supplied from the light source unit 5 in a direction intersecting the optical axis of the illumination light in accordance with the drive signal supplied from the drive waveform generation unit 7 and emits it toward the subject A. 12 and a condensing lens 13 for condensing the illumination light emitted from the scanner 12 on the subject A.
  • Reference numeral 14 denotes a digital / analog (D / A) converter that generates a drive signal by analog-converting a drive waveform that is a digital signal received from the drive waveform generation unit 7.
  • the scanner 12 is, for example, an optical fiber scanner including an optical fiber and an actuator that vibrates the tip of the optical fiber along a spiral vibration locus according to a drive signal.
  • the actuator is ejected from the tip of the optical fiber by vibrating the tip of the optical fiber in two radial directions (X direction and Y direction) orthogonal to each other in accordance with a drive signal for the X direction and a drive signal for the Y direction.
  • the illumination light is scanned two-dimensionally.
  • the drive waveform generation unit 7 generates a drive waveform (see solid line) having a predetermined drive frequency and transmits the drive waveform to the optical scanning unit 6 as shown in FIG.
  • the amplitude of the drive waveform is modulated so as to change with time in the same period as the frame period along a sinusoidal envelope (see broken line).
  • the drive waveform generation unit 7 transmits to the scanner 12 a drive waveform for the X direction and a drive waveform for the Y direction whose phases are different from each other by ⁇ / 2.
  • the illumination light is scanned along the spiral scanning trajectories B1 and B2.
  • the illumination light reciprocates once along the scanning trajectories B1 and B2.
  • the drive waveform generation unit 7 generates a drive waveform for each of the X-direction drive waveform and the Y-direction drive waveform in a set of frame periods including a plurality of frame periods continuous in the time axis direction. These phases are made different in units of one frame period according to the phase difference set by the phase setting unit 8. Parameters necessary for generating the drive waveform (drive frequency, number of frame periods per set, envelope shape and period) are set in the drive waveform generation unit 7 by an observer, for example.
  • the number (predetermined number) of frame periods constituting one set is set.
  • the phase setting unit 8 divides 360 ° which is the period of the drive waveform by the number of frame periods per set, and sets the obtained quotient as the phase difference.
  • the number of frame periods per set can be set to an arbitrary number of 2 or more. In the present embodiment, an example will be described in which a set of frame periods is formed from two frame periods. Therefore, the phase difference is set to 180 °.
  • the phase difference is set by using 360 ° by a predetermined number other than using a quotient obtained by dividing 360 ° by a predetermined number (that is, a number obtained by dividing 360 ° by a predetermined number evenly). You may use the number obtained by dividing
  • FIG. 3 shows an example of a set of drive waveforms generated by the drive waveform generator 7. As shown in FIG. 3, between the drive waveform in the first frame period and the drive waveform in the second frame period among the first and second frame periods adjacent in the time axis direction, 180 ° The phase difference is given.
  • FIG. 4 shows scanning trajectories B1 and B2 based on the drive waveform of FIG.
  • the scanning trajectory B1 in the first frame period and the scanning trajectory B2 in the second frame period are slightly shifted in the radial direction, and the scanning trajectory B2 is between the scanning trajectories B1.
  • the scanning trajectory B1 and the scanning trajectory B2 are complementary to each other.
  • the scanning locus B3 is obtained by superposing the scanning locus B1 and the scanning locus B2.
  • the apparent scanning density can be increased to approximately twice the individual scanning trajectories B1 and B2.
  • the drive waveform generated by the drive waveform generation unit 7 differs only in phase between the first frame period and the second frame period, and in other parameters (drive frequency, envelope shape and cycle). It is preferable that they are the same. By doing so, the operation of the scanner 12 can be further stabilized between the first frame period and the second frame period, and the image quality can be stabilized.
  • the light detection unit 9 receives the observation light (for example, reflected light of the illumination light) generated in the subject A by the illumination light irradiation, and the light detection detects the observation light received by the light reception unit 15. And an analog / digital (A / D) converter 17 for converting an output signal from the photodetector 16 into a digital value.
  • the observation light for example, reflected light of the illumination light
  • a / D analog / digital
  • the light receiving unit 15 is, for example, an optical fiber that extends from the distal end of the scope 2 a to the photodetector 16, and guides the received observation light to the photodetector 16.
  • the photodetector 16 detects the observation light received from the light receiving unit 15 and outputs an electric signal corresponding to the intensity of the detected observation light.
  • the electrical signal is converted into a digital value by the A / D converter 17 to obtain a gradation value that is a value of each pixel of the image.
  • the image processing unit 10 includes an image construction unit 18 that constructs an image by two-dimensionally arranging the gradation values received from the A / D converter 17, and a storage unit 19 that temporarily stores the constructed image. And a black point processing unit 20 for interpolating the gradation value of the defective pixel in the constructed image.
  • the image construction unit 18 calculates coordinates corresponding to the illumination light irradiation positions on the scanning traces B ⁇ b> 1 and B ⁇ b> 2 from the drive waveform received from the drive waveform generation unit 7. Then, the image construction unit 18 forms a two-dimensional image of the subject A by assigning the gradation value received from the A / D converter 17 to the coordinates corresponding to the gradation value.
  • a set of images including the first image in the first frame period and the second image in the second frame period is generated.
  • the image construction unit 18 transmits the formed image to the storage unit 19 and the black spot processing unit 20.
  • the storage unit 19 stores at least a pair of two-frame images acquired immediately before from the images received from the image construction unit 18.
  • the black spot processing unit 20 determines whether or not there is a missing pixel having no gradation value in one frame image received from the image construction unit 18. The defective pixel occurs because the scanning locus B1 or B2 never passes through the area on the subject A corresponding to the pixel. If there is no missing pixel, the black spot processing unit 20 transmits the image to the output unit 11 as it is. On the other hand, when there is a missing pixel, the black spot processing unit 20 performs an interpolation process for interpolating the tone value of the missing pixel using the tone value in the image stored in the storage unit 19, and then the image Is transmitted to the output unit 11. A defective pixel having no gradation value appears as a black dot in the image displayed on the display 4. Such black spots can be prevented by interpolation processing.
  • the black point processing unit 20 is different from the image of the interpolation processing target among the two-frame images stored in the storage unit 19 and acquired in the past, preferably the group acquired immediately before. Select an image. For example, if the image to be interpolated is the first image, the immediately preceding set of second images is selected. Since the scanning trajectories B1 and B2 in the first image and the second image are different from each other, the first image and the second image may have gradation values at the coordinates of different positions. Next, the black spot processing unit 20 selects a gradation value having the same coordinates as the missing pixel P from the selected image, and assigns the selected gradation value to the missing pixel P, as shown in FIG. .
  • the output unit 11 receives an image frame by frame from the black spot processing unit 20 and outputs the received image frame by frame to the display 4 at a predetermined frame rate.
  • the drive waveform generation unit 7, the phase setting unit 8, and the image construction unit 18 are realized by a computer, for example.
  • the computer includes a processor such as a CPU (Central Processing Unit) and a storage device that stores a program. Processing by the phase setting unit 8 and the image construction unit 18 is executed.
  • a processor such as a CPU (Central Processing Unit)
  • a storage device that stores a program. Processing by the phase setting unit 8 and the image construction unit 18 is executed.
  • step S1 parameters for drive waveforms are set.
  • step S2 generation of a drive waveform by the drive waveform generation unit 7 is started (step S2), and output of illumination light from the light source unit 5 is started, and illumination light is scanned on the subject A along the scanning trajectories B1 and B2. (Step S3).
  • the observation light generated at the illumination light irradiation position is received by the light receiving unit 15 and detected by the photodetector 16, and a gradation value corresponding to the intensity of the observation light is converted from the A / D converter 17 into the image processing unit 10. To the image construction unit 18 (step S4).
  • the image construction unit 18 accumulates gradation values for one frame (step S5), and constructs an image of one frame from the accumulated gradation values (steps S6 and S7). Next, if there is a missing pixel in the constructed image, the tone value of the missing pixel is interpolated using the tone value in the image of the two frames of the set generated immediately before (step S8). ). Thereafter, the image is output to the display 4 via the output unit 11 (step S10). The generated image is stored for interpolation of the next missing pixel (step S9).
  • Steps S4 to S10 are repeated until a predetermined number of frames are generated (step S11). At this time, every time one frame period ends, the phase of the drive waveform is changed, so that the scanning locus of the illumination light is shifted so as to be positioned in the gap of the immediately preceding scanning locus. Thereby, the images in which the positions of the scanning trajectories B1 and B2 are shifted are sequentially displayed on the display 4.
  • the two frames of images in which the scanning trajectories B1 and B2 are complementary and the black spots are eliminated are displayed on the display 4 in order. It is felt to the observer who observes that an image in which the density in the radial direction of the scanning trajectories B1 and B2 is doubled is displayed.
  • a substantially high-resolution image can be provided without reducing the frame rate.
  • the image generated by the image construction unit 18 is output frame by frame from the output unit 11 to the display 4.
  • the synthesized image may be output from the output unit 11 to the display 4.
  • the image processing unit 10 further includes a synthesis unit 21 that synthesizes two frames of images constituting the same set.
  • the frame rate of the image output from the output unit 11 to the display 4 is reduced by half compared to the above-described embodiment.
  • the image construction unit 18 sets the gradation values for two frames.
  • the synthesis unit 21 may accumulate and directly generate a synthesized image from the gradation values for two frames received from the image construction unit 18.
  • the drive waveform generator 7 generates the drive waveform so that the drive waveform continues smoothly while vibrating at the boundary between two frame periods adjacent in the time axis direction. In this way, the operation of the scanner 12 can be stabilized even when shifting from the frame period to the next frame period. When the drive waveform changes discontinuously at the boundary of the frame period, the operation of the scanner 12 may become unstable.
  • the operation of the scanner 12 can also be stabilized by providing a blank period for adjusting the drive waveform so that the drive waveform is smoothly continuous with the drive waveform of the next frame period between two adjacent frame periods.
  • a blank period for adjusting the drive waveform so that the drive waveform is smoothly continuous with the drive waveform of the next frame period between two adjacent frame periods.
  • the frame rate decreases. According to this modification, stable operation of the scanner 12 can be ensured while maintaining the frame rate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

光走査型画像形成装置は、照明光を出力する光源部（５）と、駆動波形を生成する駆動波形生成部（７）と、照明光を駆動波形に従って走査する光走査部（６）と、被写体からの観察光に基づく階調値を得る光検出部（９）と、所定数のフレーム期間から構成される１組のフレーム期間において所定数のフレームの間で駆動波形に位相差を与えるように駆動波形の位相を設定する位相設定部（８）と、１組のフレーム期間中に所定数の画像からなる１組の画像を得る画像処理部（１０）とを備え、画像処理部（１０）は、画像に含まれる欠損画素の階調値を当該画像を含む組よりも過去に得られた組を構成する画像内の階調値を用いて補間する。

Description

光走査型画像形成装置および光走査型内視鏡システム
　本発明は、光走査型画像形成装置および光走査型内視鏡システムに関するものである。
　従来、光ファイバを振動させることによって光ファイバから射出される光を渦巻き状の走査軌跡に沿って走査し、走査軌跡上の位置からの反射光を受光して画像化する走査型内視鏡が知られている（例えば、特許文献１参照。）。走査軌跡の間隔が広い場合、生成される画像内には、階調値を有さず黒点として見える欠損画素が発生する。特許文献１では、走査軌跡の間隔を目標値と一致するように調整することで、欠損画素の発生を防止している。
特開２０１４－１４９３５４号公報
　しかしながら、特許文献１のように、走査軌跡の間隔を目標値まで狭めるためには、画像１フレーム当たりの光ファイバの振動回数を増大する必要がある。そのため、１フレーム当たりの走査時間が長くなり、フレームレートが低下してしまうという問題がある。光ファイバの駆動周波数を増大することによって高いフレームレートを維持することも可能であるが、その場合には、膨大な処理を高速で実行しなければならないとともにアクチュエータにかかる負荷が増大する。
　本発明は、上述した事情に鑑みてなされたものであって、高いフレームレートを維持しながら欠損画素の発生を防止することができる光走査型画像形成装置および光走査型内視鏡システムを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１の態様は、照明光を出力する光源部と、駆動波形を生成する駆動波形生成部と、前記光源部から出力された照明光を前記駆動波形生成部によって生成された駆動波形に従って被写体上で走査する光走査部と、前記照明光の照射により前記被写体において生じた観察光を検出して該観察光に基づく階調値を得る光検出部と、時間軸方向に連続し２以上の所定数のフレームの画像が取得される１組のフレーム期間において前記所定数のフレームの間で前記駆動波形に位相差を与えるように、前記駆動波形生成部が生成する前記駆動波形の位相を設定する位相設定部と、１フレーム期間中に前記光検出部により得られた階調値と前記照明光の照射位置とに基づいて１フレームの画像を生成することによって、前記１組のフレーム期間中に前記所定数のフレームの画像からなる１組の画像を得る画像処理部とを備え、該画像処理部は、前記画像が階調値を有しない欠損画素を含むか否かを判定し、前記画像が欠損画素を含む場合に、当該画像を含む組よりも過去に得られた組を構成する画像内の階調値を用いて欠損画素の階調値を補間する光走査型画像形成装置である。
　本発明の第１の態様によれば、光源部から出力された照明光が光走査部によって被写体上で走査され、照明光の照射位置で発生した観察光が光検出部によって検出され、観察光に基づく階調値と照明光の照射位置とから１フレーム期間中に１フレームの画像が画像処理部によって生成される。
　この場合に、連続する所定数のフレーム期間における駆動波形が互いに異なる位相を有するので、連続する所定数のフレームの画像において照明光の走査軌跡は互いに異なる。このように走査軌跡の異なる所定数のフレームの画像からは、走査軌跡の密度を増大した場合と同等の画像が得られる。すなわち、フレームレートを低下させることなく、走査軌跡の密度を実質的に高めることができる。これにより、高いフレームレートを維持しながら欠損画素の発生を防止することができる。
　上記第１の態様においては、前記位相設定部が、３６０°を前記所定数で分割した数を前記位相差に設定してもよい。
　このようにすることで、連続する所定数のフレームの画像において走査軌跡が互いに異なるように、位相差を容易に設定することができる。また、連続する所定数のフレームの画像からは、走査軌跡の密度を所定数倍に増大した場合と同等またはそれに近い画像が得られる。
　上記第１の態様においては、前記画像処理部によって生成された画像を１フレーム毎に出力する出力部を備えていてもよい。
　このようにすることで、出力部から出力された画像を順番にディスプレイに表示することで、インタレース方式のように、走査軌跡の位置がわずかに異なる画像が順番に表示される。画像を観察する観察者には直前に表示された画像の残像が残るので、見かけの解像度を個々の画像の解像度に比べて向上することができる。
　上記第１の態様においては、前記画像処理部は、同一の前記組を構成する前記所定数のフレームの画像を合成して合成画像を生成し、前記画像処理部によって生成された前記合成画像を出力する出力部を備えていてもよい。
　このようにすることで、個々の画像よりも高解像度の合成画像を得ることができる。また、１フレーム期間の長さを増大して解像度を向上する場合と比べて、照明光が走査される距離が増加して照明光がサンプリングされる照射位置が分散するので、解像度を向上することができる。
　上記第１の態様においては、前記駆動波形生成部が、時間軸方向に隣接する２つのフレーム期間の間で滑らかに連続する前記駆動波形を生成してもよい。
　このようにすることで、フレームレートを維持しながら、フレーム期間から次のフレーム期間への移行時の光走査部の動作を安定させることができる。隣接するフレーム期間の境界での駆動波形の不連続な変化は、光走査部の動作の不安定化を招くため好ましくない。安定した光走査部の動作を確保するために、フレーム期間の間に駆動波形を連続させるためのブランク期間を設けた場合には、フレームレートの低下を招く。
　上記第１の態様においては、前記駆動波形生成部が、前記所定数のフレームの間で前記位相のみが異なる前記駆動波形を生成してもよい。
　このようにすることで、複数のフレーム期間の間で光走査部の安定した駆動が実現でき、安定した画像を生成することができる。
　上記第１の態様においては、前記駆動波形生成部が、振幅変調された前記駆動波形を生成するとともに、振幅変調された駆動波形の包絡線の形状が前記所定数のフレームの間で同一となるように前記駆動波形を振幅変調してもよい。
　このようにすることで、安定した走査軌跡を得ることができる。
　上記第１の態様においては、前記駆動波形生成部が、前記フレーム期間と等しい周期で振幅変調された前記駆動波形を生成してもよい。
　このようにすることで、安定した走査軌跡を得ることができる。
　本発明の第２の態様は、上記いずれかに記載の光走査型画像形成装置を備える光走査型内視鏡システムである。
　本発明によれば、高いフレームレートを維持しながら欠損画素の発生を防止することができるという効果を奏する。
本発明の一実施形態に係る光走査型内視鏡システムの全体構成を示す外観図である。 図１の光走査型内視鏡システムに搭載された光走査型画像形成装置の全体構成を示すブロック図である。 図２の光走査型画像形成装置の駆動波形生成部によって生成される１組の駆動波形を示す図である。 図２の光走査型画像形成装置の光走査部による照明光の走査軌跡と、見かけの走査軌跡とを示す図である。 図２の光走査型画像形成装置の黒点処理部による階調値の補間処理を説明する図である。 図２の光走査型画像形成装置の動作を説明するフローチャートである。 図２の光走査型画像形成装置の変形例の全体構成を示すブロック図である。
　以下に、本発明の一実施形態に係る光走査型画像形成装置およびこれを備える光走査型内視鏡システム１について図面を参照して説明する。
　本実施形態に係る光走査型内視鏡システム１は、図１に示されるように、体内に挿入される細長いスコープ２ａを有する内視鏡２と、該内視鏡２に接続された制御装置本体３と、該制御装置本体３に接続されたディスプレイ４とを備えている。光走査型内視鏡システム１は、スコープ２ａの先端から射出される照明光を被写体Ａ上で渦巻き状の走査軌跡Ｂ１，Ｂ２に沿って走査し、被写体Ａの画像を取得する。
　光走査型画像形成装置は、光走査型内視鏡システム１に搭載されており、図２に示されるように、照明光を発する光源部５と、該光源部５から供給された照明光を走査しながら被写体Ａに照射する光走査部６と、該光走査部６を駆動させるための駆動波形を生成する駆動波形生成部７と、該駆動波形生成部７によって生成される駆動信号の位相を設定する位相設定部８と、被写体Ａからの観察光を検出して階調値を得る光検出部９と、階調値を照明光の照射位置と対応付けることによって画像を描画する画像処理部１０と、該画像処理部１０によって生成された画像をディスプレイ４に出力する出力部１１とを備えている。
　光源部５、駆動波形生成部７、位相設定部８、画像処理部１０は制御装置本体３内に設けられ、光走査部６および光検出部９は内視鏡２および制御装置本体３にまたがって設けられている。
　光源部５は、照明光としてレーザ光を出力するレーザ光源（図示略）を備えている。
　光走査部６は、光源部５から供給された照明光を、駆動波形生成部７から供給される駆動信号に従って照明光の光軸に交差する方向に走査するとともに被写体Ａに向けて射出するスキャナ１２と、該スキャナ１２から射出された照明光を被写体Ａ上に集光させる集光レンズ１３とを備えている。符号１４は、駆動波形生成部７から受信するデジタル信号である駆動波形をアナログ変換して駆動信号を生成するデジタルアナログ（Ｄ／Ａ）変換器である。
　スキャナ１２は、例えば、光ファイバと、該光ファイバの先端を駆動信号に従って螺旋状の振動軌跡に沿って振動させるアクチュエータとを備える光ファイバスキャナである。アクチュエータは、Ｘ方向用の駆動信号およびＹ方向用の駆動信号に従って光ファイバの先端を互いに直交する２つの径方向（Ｘ方向およびＹ方向）にそれぞれ振動させることによって、光ファイバの先端から射出される照明光を２次元的に走査するようになっている。
　駆動波形生成部７は、図３に示されるように、所定の駆動周波数を有する駆動波形（実線参照。）を発生し、駆動波形を光走査部６に送信する。駆動波形の振幅は、正弦波状の包絡線（破線参照。）に沿ってフレーム期間と同一周期で時間変化するように変調されている。駆動波形生成部７は、位相が互いにπ／２だけ異なるＸ方向用の駆動波形およびＹ方向用の駆動波形をスキャナ１２に送信する。これにより、照明光が螺旋状の走査軌跡Ｂ１，Ｂ２に沿って走査されるようになっている。包絡線の位相が３６０°変化する１フレーム期間中に、照明光は走査軌跡Ｂ１，Ｂ２を１往復する。
　ここで、駆動波形生成部７は、Ｘ方向用の駆動波形およびＹ方向用の駆動波形の各々について、時間軸方向に連続する複数のフレーム期間からなる１組のフレーム期間において、生成する駆動波形の位相を位相設定部８によって設定された位相差に従って１フレーム期間単位で異ならせるようになっている。
　駆動波形に生成に必要なパラメータ（駆動周波数、１組当たりのフレーム期間の数、包絡線の形状および周期）は、例えば観察者によって駆動波形生成部７に設定される。
　位相設定部８は、１つの組を構成するフレーム期間の数（所定数）が設定されている。位相設定部８は、１組当たりのフレーム期間の数で駆動波形の周期である３６０°を除算し、得られた商を位相差に設定する。１組当たりのフレーム期間の数は、２以上の任意の数に設定することができる。本実施形態においては、２つのフレーム期間から１組のフレーム期間が構成される場合を例に説明する。したがって、位相差は１８０°に設定される。
　位相差の設定には、３６０°を所定数で除算して得られた商（すなわち、３６０°を所定数で均等に分割して得られた数）を用いる以外に、３６０°を所定数で分割して得られた数を用いてもよい。
　例えば、位相差は、１７９°に設定されてもよい。この場合、第１のフレーム期間と第２のフレーム期間との間で駆動波形が滑らかに連続するように、駆動波形の位相を調整するブランク期間が設けられる。
　図３は、駆動波形生成部７によって生成される１組の駆動波形の一例を示している。図３に示されるように、時間軸方向に隣接する第１および第２のフレーム期間の内、第１のフレーム期間における駆動波形と、第２のフレーム期間における駆動波形との間に、１８０°の位相差が与えられている。
　図４は、図３の駆動波形に基づく走査軌跡Ｂ１，Ｂ２を示している。図４に示されるように、第１のフレーム期間における走査軌跡Ｂ１と、第２のフレーム期間における走査軌跡Ｂ２とは、径方向にわずかにずれており、走査軌跡Ｂ１の間に走査軌跡Ｂ２が位置するように走査軌跡Ｂ１と走査軌跡Ｂ２とは互いに相補的な関係にある。走査軌跡Ｂ３は、走査軌跡Ｂ１と走査軌跡Ｂ２とを重ね合せたものである。このように、走査軌跡Ｂ１と走査軌跡Ｂ２とを組み合わせることによって、見かけの走査密度を個々の走査軌跡Ｂ１，Ｂ２の略２倍に高めることができる。
　ここで、駆動波形生成部７が生成する駆動波形は、第１のフレーム期間と第２のフレーム期間との間で位相においてのみ異なり、その他のパラメータ（駆動周波数、包絡線の形状および周期）において同一であることが好ましい。このようにすることで、第１のフレーム期間と第２のフレーム期間との間でスキャナ１２の動作をより安定させ、画像の質を安定させることができる。
　光検出部９は、照明光の照射によって被写体Ａにおいて発生した観察光（例えば、照明光の反射光）を受光する受光部１５と、該受光部１５によって受光された観察光を検出する光検出器１６と、該光検出器１６からの出力信号をデジタル値に変換するアナログデジタル（Ａ／Ｄ）変換器１７とを備えている。
　受光部１５は、例えばスコープ２ａの先端から光検出器１６まで延びる光ファイバであり、受光した観察光を光検出器１６へ導光する。
　光検出器１６は、受光部１５から受け取った観察光を検出し、検出された観察光の強度に応じた電気信号を出力する。電気信号がＡ／Ｄ変換器１７によってデジタル値に変換されることで、画像の各画素の値となる階調値が得られる。
　画像処理部１０は、Ａ／Ｄ変換器１７から受信した階調値を２次元的に配列することによって画像を構築する画像構築部１８と、構築された画像を一時的に保存する保存部１９と、構築された画像内の欠損画素の階調値を補間する黒点処理部２０とを備えている。
　画像構築部１８は、駆動波形生成部７から受信した駆動波形から、走査軌跡Ｂ１，Ｂ２上の照明光の照射位置に対応する座標を演算する。そして、画像構築部１８は、Ａ／Ｄ変換器１７から受信した階調値を、該階調値と対応する座標に割り当てることによって、被写体Ａの２次元の画像を形成する。ここで、１組のフレーム期間中に、第１のフレーム期間における第１の画像と第２のフレーム期間における第２の画像とからなる１組の画像が生成される。画像構築部１８は、形成された画像を保存部１９および黒点処理部２０に送信する。
　保存部１９は、画像構築部１８から受信した画像のうち、少なくとも直前に取得された組の２フレームの画像を保存する。
　黒点処理部２０は、画像構築部１８から受信した１フレームの画像内に、階調値を有しない欠損画素が存在するか否かを判定する。欠損画素は、その画素に対応する被写体Ａ上の領域内を走査軌跡Ｂ１またはＢ２が一度も通過しないことが原因で発生する。欠損画素が存在しない場合、黒点処理部２０は、その画像をそのまま出力部１１へ送信する。一方、欠損画素が存在する場合、黒点処理部２０は、欠損画素の階調値を、保存部１９に保存された画像内の階調値を用いて補間する補間処理を実行し、その後に画像を出力部１１へ送信する。階調値を有しない欠損画素は、ディスプレイ４に表示された画像において黒点として現れる。このような黒点の発生を補間処理によって防止することができる。
　補間処理において、黒点処理部２０は、保存部１９に保存されている、過去に取得された組、好ましくは直前に取得された組の２フレームの画像の内、補間処理対象の画像とは異なる画像を選択する。例えば、補間処理対象の画像が第１の画像である場合、直前の組の第２の画像を選択する。第１の画像と第２の画像における走査軌跡Ｂ１，Ｂ２は互いに異なるので、第１の画像および第２の画像は、異なる位置の座標において階調値を有し得る。次に、黒点処理部２０は、選択した画像の中から、図５に示されるように、欠損画素Ｐと同一の座標の階調値を選択し、選択した階調値を欠損画素Ｐに割り当てる。選択した画像が、欠損画素Ｐと同一の座標において階調値を有しない場合には、欠損画素Ｐの座標に最も近い座標の階調値が選択される。
　出力部１１は、黒点処理部２０から１フレームずつ画像を受信し、受信した画像を１フレームずつ所定のフレームレートでディスプレイ４へ出力する。
　駆動波形生成部７、位相設定部８および画像構築部１８は、例えばコンピュータによって実現される。具体的には、コンピュータが、ＣＰＵ（中央演算処理装置）のようなプロセッサと、プログラムを記憶する記憶装置とを備え、記憶装置に記憶されたプログラムに従ってプロセッサが、上述した駆動波形生成部７、位相設定部８および画像構築部１８による処理を実行するようになっている。
　次に、このように構成された光走査型内視鏡システム１の作用について説明する。
　本実施形態に係る光走査型内視鏡システム１を用いて被写体Ａを観察するためには、図６に示されるように、最初に、駆動波形用のパラメータが設定される（ステップＳ１）。その後、駆動波形生成部７による駆動波形の生成が開始するとともに（ステップＳ２）、光源部５からの照明光の出力が開始して被写体Ａ上において照明光が走査軌跡Ｂ１，Ｂ２に沿って走査される（ステップＳ３）。照明光の照射位置において発生した観察光は、受光部１５において受光され、光検出器１６によって検出され、観察光の強度に相当する階調値がＡ／Ｄ変換器１７から画像処理部１０内の画像構築部１８に送信される（ステップＳ４）。
　画像構築部１８において、１フレーム分の階調値が蓄積され（ステップＳ５）、蓄積された階調値から１フレームの画像が構築される（ステップＳ６，Ｓ７）。次に、構築された画像内に欠損画素が存在する場合には、直前に生成された組の２フレームの画像内の階調値を用いて欠損画素の階調値が補間される（ステップＳ８）。その後、画像は出力部１１を介してディスプレイ４に出力される（ステップＳ１０）。また、生成された画像は、次の欠損画素の補間用に保存される（ステップＳ９）。
　ステップＳ４～Ｓ１０は、所定数のフレームが生成されるまで繰り返される（ステップＳ１１）。このときに、１フレーム期間が終了する毎に、駆動波形の位相が変更されることにより、照明光の走査軌跡が、直前の走査軌跡の隙間に位置するようにずれる。これにより、走査軌跡Ｂ１，Ｂ２の位置がずれた画像が順番にディスプレイ４に表示される。
　このように、本実施形態によれば、インタレース方式のように、走査軌跡Ｂ１，Ｂ２が相補的であり黒点が解消された２フレームの画像がディスプレイ４に順番に表示されるので、ディスプレイ４を観察する観察者には、走査軌跡Ｂ１，Ｂ２の径方向の密度が約２倍に増倍した画像が表示されているように感じられる。このように、実質的に高解像度の画像を、フレームレートを低下させることなく提供することができるという利点がある。
　本実施形態においては、画像構築部１８によって生成された画像を１フレームずつ出力部１１からディスプレイ４に出力することとしたが、これに代えて、プログレッシブ方式のように、２フレームの画像から生成した合成画像を出力部１１からディスプレイ４に出力してもよい。この場合、図７に示されるように、画像処理部１０は、同一の組を構成する２フレームの画像を合成する合成部２１をさらに備える。本変形例において、出力部１１からディスプレイ４に出力される画像のフレームレートは、上述した実施形態と比べて２分の１に低下する。
　このようにしても、走査軌跡Ｂ１，Ｂ２が相補的である２フレームの画像から合成された高解像度の合成画像を提供することができる。また、１フレーム期間の長さを２倍に延ばして同一の駆動周波数で周回数（１フレーム期間中の駆動波形の振動回数）を２倍に増大することによって走査軌跡の密度を高める場合と比べて、照明光の走査距離が長くなるので、観察光のサンプリング位置の間隔が広がる。このようにサンプリング位置が分散することによって、解像度をより向上することができる。
　本変形例においては、図７に示されるように、合成部２１が、生成された２フレームの画像から合成画像を生成することに代えて、画像構築部１８が２フレーム分の階調値を蓄積し、合成部２１が、画像構築部１８から受信した２フレーム分の階調値から合成画像を直接生成してもよい。
　本実施形態においては、駆動波形生成部７が、時間軸方向に隣接する２つのフレーム期間の境界において駆動波形が振動しながら滑らかに連続するように、駆動波形を生成することが好ましい。
　このようにすることで、フレーム期間から次のフレーム期間への移行時にもスキャナ１２の動作を安定させることができる。フレーム期間の境界において駆動波形が不連続に変化する場合、スキャナ１２の動作が不安定になる可能性がある。
　隣接する２つのフレーム期間の間に、駆動波形が次のフレーム期間の駆動波形と滑らかに連続するように駆動波形を調整するブランク期間を設けることによっても、スキャナ１２の動作を安定させることができるが、このようなブランク期間を設けた場合にはフレームレートが低下する。本変形例によれば、フレームレートを維持しながらスキャナ１２の安定した動作を確保することができる。
１　光走査型内視鏡システム
２　内視鏡
２ａ　スコープ
３　制御装置本体
４　ディスプレイ
５　光源部
６　光走査部
７　駆動波形生成部
８　位相設定部
９　光検出部
１０　画像処理部
１１　出力部
１２　スキャナ
１３　集光レンズ
１４　Ｄ／Ａ変換器
１５　受光部
１６　光検出器
１７　Ａ／Ｄ変換器
１８　画像構築部
１９　保存部
２０　黒点処理部
２１　合成部

Claims (9)

  1. 　照明光を出力する光源部と、
    　駆動波形を生成する駆動波形生成部と、
    　前記光源部から出力された照明光を前記駆動波形生成部によって生成された駆動波形に従って被写体上で走査する光走査部と、
    　前記照明光の照射により前記被写体において生じた観察光を検出して該観察光に基づく階調値を得る光検出部と、
    　時間軸方向に連続し２以上の所定数のフレームの画像が取得される１組のフレーム期間において前記所定数のフレームの間で前記駆動波形に位相差を与えるように、前記駆動波形生成部が生成する前記駆動波形の位相を設定する位相設定部と、
    　１フレーム期間中に前記光検出部により得られた階調値と前記照明光の照射位置とに基づいて１フレームの画像を生成することによって、前記１組のフレーム期間中に前記所定数のフレームの画像からなる１組の画像を得る画像処理部とを備え、
    　該画像処理部は、前記画像が階調値を有しない欠損画素を含むか否かを判定し、前記画像が欠損画素を含む場合に、当該画像を含む組よりも過去に得られた組を構成する画像内の階調値を用いて欠損画素の階調値を補間する光走査型画像形成装置。
  2. 　前記位相設定部が、３６０°を前記所定数で分割した数を前記位相差に設定する請求項１に記載の光走査型画像形成装置。
  3. 　前記画像処理部によって生成された画像を１フレーム毎に出力する出力部を備える請求項１または請求項２に記載の光走査型画像形成装置。
  4. 　前記画像処理部は、同一の前記組を構成する前記所定数のフレームの画像を合成して合成画像を生成し、
    　前記画像処理部によって生成された前記合成画像を出力する出力部を備える請求項１または請求項２に記載の光走査型画像形成装置。
  5. 　前記駆動波形生成部が、時間軸方向に隣接する２つのフレーム期間の間で滑らかに連続する前記駆動波形を生成する請求項１から請求項４のいずれかに記載の光走査型画像形成装置。
  6. 　前記駆動波形生成部が、前記所定数のフレームの間で前記位相のみが異なる前記駆動波形を生成する請求項１から請求項５のいずれかに記載の光走査型画像形成装置。
  7. 　前記駆動波形生成部が、振幅変調された前記駆動波形を生成するとともに、振幅変調された駆動波形の包絡線の形状が前記所定数のフレームの間で同一となるように前記駆動波形を振幅変調する請求項１から請求項６のいずれかに記載の光走査型画像形成装置。
  8. 　前記駆動波形生成部が、前記フレーム期間と等しい周期で振幅変調された前記駆動波形を生成する請求項１から請求項７のいずれかに記載の光走査型画像形成装置。
  9. 　請求項１から請求項８のいずれかに記載の光走査型画像形成装置を備える光走査型内視鏡システム。
PCT/JP2017/000168 2017-01-05 2017-01-05 光走査型画像形成装置および光走査型内視鏡システム WO2018127958A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/000168 WO2018127958A1 (ja) 2017-01-05 2017-01-05 光走査型画像形成装置および光走査型内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/000168 WO2018127958A1 (ja) 2017-01-05 2017-01-05 光走査型画像形成装置および光走査型内視鏡システム

Publications (1)

Publication Number Publication Date
WO2018127958A1 true WO2018127958A1 (ja) 2018-07-12

Family

ID=62791348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000168 WO2018127958A1 (ja) 2017-01-05 2017-01-05 光走査型画像形成装置および光走査型内視鏡システム

Country Status (1)

Country Link
WO (1) WO2018127958A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143264A (ja) * 2011-01-06 2012-08-02 Hoya Corp キャリブレーション装置、及びキャリブレーション方法
JP2014144130A (ja) * 2013-01-29 2014-08-14 Olympus Corp 走査型観察装置とその制御方法
JP2015125301A (ja) * 2013-12-26 2015-07-06 オリンパス株式会社 光走査型画像形成装置及び光走査型画像形成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143264A (ja) * 2011-01-06 2012-08-02 Hoya Corp キャリブレーション装置、及びキャリブレーション方法
JP2014144130A (ja) * 2013-01-29 2014-08-14 Olympus Corp 走査型観察装置とその制御方法
JP2015125301A (ja) * 2013-12-26 2015-07-06 オリンパス株式会社 光走査型画像形成装置及び光走査型画像形成方法

Similar Documents

Publication Publication Date Title
JP5218186B2 (ja) 画像表示装置
US8866803B2 (en) Image display device displaying image by applying laser light
JP6203109B2 (ja) 光走査型画像形成装置及び光走査型画像形成方法
US9993139B2 (en) Optical scanning observation apparatus and optical scanning observation method
JP2010142597A (ja) 内視鏡装置
JPWO2014034184A1 (ja) 走査型内視鏡システム
CN105247601B (zh) 显示装置
US20100157038A1 (en) Endoscope system with scanning function
US10108002B2 (en) Optical scanning image forming apparatus and optical scanning image forming method
JP2009145826A (ja) 走査型顕微鏡装置
JP2011125617A (ja) 内視鏡装置
WO2018127958A1 (ja) 光走査型画像形成装置および光走査型内視鏡システム
JP6042674B2 (ja) 三次元情報取得機能付き画像投影装置
JP5191352B2 (ja) レーザ走査型顕微鏡
WO2017037781A1 (ja) 走査型観察装置
US20170311776A1 (en) Optical scanning apparatus
WO2012104973A1 (ja) 画像表示装置
JP5565270B2 (ja) 走査方法、映像投影装置および画像取得装置
JP2015025900A (ja) レーザ走査顕微鏡
JP2018004905A (ja) 走査型顕微鏡、及び、走査型顕微鏡の制御方法
JPH01100491A (ja) レーザレーダ画像形成装置
KR102513918B1 (ko) 이미지 복원 신호의 위상 보정 방법 및 시스템
JP2011133560A (ja) 光走査型ディスプレイ
JP2000098238A (ja) 走査型レーザ顕微鏡
WO2019012623A1 (ja) 画像処理装置、光走査型観察システムおよび画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17890627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17890627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP