JP4895834B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4895834B2
JP4895834B2 JP2007013038A JP2007013038A JP4895834B2 JP 4895834 B2 JP4895834 B2 JP 4895834B2 JP 2007013038 A JP2007013038 A JP 2007013038A JP 2007013038 A JP2007013038 A JP 2007013038A JP 4895834 B2 JP4895834 B2 JP 4895834B2
Authority
JP
Japan
Prior art keywords
luminance
signal
primary color
data
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007013038A
Other languages
English (en)
Other versions
JP2008178481A (ja
JP2008178481A5 (ja
Inventor
浩平 池谷
豪 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2007013038A priority Critical patent/JP4895834B2/ja
Priority to US12/017,406 priority patent/US8233038B2/en
Priority to DE102008005679.0A priority patent/DE102008005679B4/de
Publication of JP2008178481A publication Critical patent/JP2008178481A/ja
Publication of JP2008178481A5 publication Critical patent/JP2008178481A5/ja
Application granted granted Critical
Publication of JP4895834B2 publication Critical patent/JP4895834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡のように特定の原色成分の強度が大きな光学像の撮影により生成された画像信号の信号処理を行う画像処理装置に関する。
撮像素子を用いて被写体の画像を撮影することにより、画像信号が生成される。生成された画像信号に、被写体の色を出来るだけ正確に再現するために所定の信号処理が施される。信号処理の施された画像信号に相当する画像が表示される。
様々な機器に撮像素子が用いられる。例えば、挿入管の先端に撮像素子を設けた電子内視鏡が知られている。医療用電子内視鏡は生体の内部を観察するために用いられている。医療用電子内視鏡では、補色フィルター付CCD撮像素子が使用されている。
一般的な医療用電子内視鏡の信号処理において、補色信号から広帯域輝度信号YHと狭帯域輝度信号YLが生成される。さらに、狭帯域輝度信号YLから色差信号R−YL、B−YLが生成される。広帯域輝度信号YHと色差信号R−YL、B−YLがモニタに送られる。モニタでは、広帯域輝度信号YHと色差信号R−YL、B−YLを用いて原色信号R、G、Bが生成され、原色信号R、G、Bに基づいた画像が表示される。なお、内視鏡装置内部で輝度信号と色差信号から原色信号R、G、Bを生成し、モニタに伝送され、表示されることもある。
広帯域輝度信号YHを輝度信号として使用する場合には、改善が望まれていることがある。例えば、輝度再現性を向上させることが望まれている。輝度再現性の改善のために、色相に応じて広帯域輝度信号の補正を行なうか否かの判断をして、広帯域輝度信号YHの補正を行なうことが提案されている(特許文献1参照)。
また、医療用電子内視鏡の主な被写体は生体内部であり、全体的に赤みがかっている。赤みがかった画像を撮影するときには広帯域輝度信号YHに起因して、赤色信号成分のみが飽和することがあり得る。赤色信号成分のみが飽和した箇所においては色の再現性が他の箇所より低下していた。
特開平11−136693号公報
したがって、本発明では、内視鏡装置に設けられる撮像素子のように、特定の色に色みがかった被写体を撮像する撮像素子が生成する画像信号に対して、色の再現性を改善させる画像処理装置の提供を目的とする。
本発明の画像処理装置は、撮像素子の受光面を形成する複数の画素それぞれにおける受光量に応じた画素信号によって形成される画像信号を受信する受信部と、画像信号に基づいて画素に対応付けた複数の原色成分の光量値に第1の係数群で重み付けを施して加算した値に相当する第1の輝度を算出する第1の輝度算出部と、複数の原色成分の中の第1の原色成分の光量値に施す重み付けに対する第2の原色成分の光量値に施す重み付けの比が第1の係数群を用いるときより大きくなる第2の係数群を用いて画像信号に基づいて画素に対応付けた複数の原色成分の光量値に重み付けを施して加算した値に相当する第2の輝度を算出する第2の輝度算出部と、第1の輝度を所定の閾値と比較する比較部と、第1の輝度が所定の閾値より大きい場合には第2の輝度に応じた輝度補正値を算出する補正値算出部と、第1の輝度から補正値を減算することにより補正輝度を算出する第1の減算部とを備えることを特徴としている。
なお、画像信号に基づいて画素に対応する色差を算出する色差算出部と、第1の輝度が所定の閾値より大きい場合には色差と補正輝度とに対応する色差信号と補正輝度信号とを画素における色差信号と輝度信号として出力し第1の輝度が所定の閾値より小さい場合には色差と第1の輝度に対応する色差信号と第1の輝度信号とを画素における色差信号と輝度信号として出力する出力部とを備えることが好ましい。
または、画像信号に基づいて画素に対応する色差を算出する色差算出部と、第1の輝度が所定の閾値より大きい場合には色差と補正輝度とに基づいて画素における原色成分に対応する原色信号を生成し第1の輝度が所定の閾値より小さい場合には色差と第1の輝度とに基づいて画素における原色成分に対応する原色信号を生成する色信号生成部とを備えることが好ましい。
また、第2の係数群は変更可能であることが好ましい。
また、撮像素子が受光する被写体を照明するための光源の種類を検出する光源検出部を備え、光源検出部により検出される光源の種類に応じて第2の係数群を変更し、撮像素子を有する内視鏡に設けられることが好ましい。
また、撮像素子を有する内視鏡の種類を検出する内視鏡検出部を備え、内視鏡検出部により検出される内視鏡の種類に応じて第2の係数群を変更し、画像信号に対して所定の信号処理を施す内視鏡プロセッサに設けられることが好ましい。
また、補正輝度の算出された画素において輪郭強調を施す輪郭強調処理部を備えることが好ましい。さらに、輪郭強調処理部による輪郭強調の先鋭度を変更可能であることが好ましい。
また、所定の閾値として第1の閾値と第1の閾値より大きな第2の閾値が定められ、輪郭強調処理部は第1の輝度が第1の閾値と第2の閾値との範囲に含まれるときにおける輪郭強調の先鋭度と第1の輝度が第2の閾値より大きいときにおける輪郭強調の先鋭度を変更することが好ましい。
また、所定の閾値は変更可能であることが好ましい。
また、輝度補正値は第2の輝度に1未満の所定の係数を乗じることにより算出されることが好ましい。
また、複数の原色成分の中の第1の原色成分の光量値に施す重み付けに対する第2の原色成分の光量値に施す重み付けの比が第1の係数群を用いるときより小さくなる第3の係数群を用いて画像信号に基づいて画素に対応付けた複数の原色成分の光量値に重み付けを施して加算した値に相当する第3の輝度を算出する第3の輝度算出部を備え、第2の輝度算出部は第1の輝度から第3の輝度を減算することにより第2の輝度を算出することが好ましい。
また、画像信号は補色信号成分によって形成され、第1の輝度算出部は画素に対応する複数の補色信号成分を加算することにより第1の輝度を算出し、第3の輝度算出部は画素に対応する複数の補色信号成分に基づいて画素に対応する複数の原色信号成分を算出し、複数の原色信号成分を第3の係数群で重み付けすることが好ましい。
また、画像信号を形成する原色信号成分に基づいて補色信号成分を生成する補色信号生成部を備え、第1の輝度算出部は画素に対応する複数の補色信号成分を加算することにより第1の輝度を算出し、第3の輝度算出部は画素に対応する複数の原色信号成分を第3の係数群で重み付けすることが好ましい。
また、画像信号は原色信号成分によって形成され、第1の輝度算出部は画素に対応する複数の原色信号成分を第1の係数群で重み付けを行い、第3の輝度算出部は画素に対応する複数の原色信号成分を第3の係数群で重み付けを行なうことが好ましい。
本発明によれば、特定の色に色づいた被写体の撮像により生成される画像信号に対して色の再現性を向上させることが可能となる。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の第1の実施形態を適用した画像処理装置を有する内視鏡システムを示す外観構成図である。
内視鏡システム10は、電子内視鏡20、内視鏡プロセッサ11、およびモニタ12によって構成される。内視鏡プロセッサ11は、電子内視鏡20、及びモニタ12に接続される。
電子内視鏡20は体内に挿入される。電子内視鏡20により体内の撮影が行われる。撮影した画像に相当する画像信号が生成される。画像信号は内視鏡プロセッサ11に伝送される。内視鏡プロセッサ11により、伝送された画像信号に対して所定の信号処理が施される。所定の信号処理を施した画像信号は映像信号としてモニタ12に送られ、送られた映像信号に相当する画像がモニタ12に表示される。
電子内視鏡20は、挿入管21、操作部22、連結管23、およびコネクタ24によって形成される。挿入管21が、操作部22から延びるように設けられる。操作部22とコネクタ24とが、連結管23を介して連結される。
挿入管21は可撓性を有しており、挿入管21が体内に挿入される。操作部22には、電子内視鏡20および内視鏡システム10が有する機能を実行させるためのスイッチなどが設けられる。コネクタ24によって、電子内視鏡20が内視鏡プロセッサ11に接続される。
電子内視鏡20の内部構成について図2を用いて説明する。図2は、電子内視鏡20の内部構成を示すブロック図である。電子内視鏡20には、ライトガイド25、撮像素子26、AFE27、および画像処理装置30などが設けられる。
ライトガイド25は、コネクタ24から挿入管21の先端まで延設される。撮像素子26は、挿入管21の先端に設けられる。AFE27と画像処理装置30は、操作部22内に設けられる。
コネクタ24を内視鏡プロセッサ11に接続すると、ライトガイド25は内視鏡プロセッサ11内部に設けられる光源(図示せず)と光学的に接続される。光源によって発光される照明光がライトガイド25によって伝達される。伝達された照明光は、ライトガイド25の出射端から出射し、配光レンズ28dを介して挿入管21の先端付近に照射される。照明光による被写体の反射光が対物レンズ28oを介して、撮像素子26の受光面に入射する。撮像素子26はCCD撮像素子である。
図3に示すように、撮像素子26の受光面には、複数の画素Pがマトリックス状に設けられる。なお、以後の説明において下から上に向かって行番号が数えられ、左から右に向かって列番号が数えられる。それぞれの画素Pは、カラーフィルタによって覆われる。カラーフィルタは、補色市松差線順次方式に従って配置される。すなわち、下から順にMg、Cy、G、Cyの並ぶ列と、下から順にG、Ye、Mg、Yeの並ぶ列とを有する2列4行の画素Pによって形成されるカラーフィルタ繰り返し単位FUが、行方向および列方向に配置される。
カラーフィルタを透過した光の色成分が画素Pに入射する。光を受光すると、画素Pが受光する色成分の光の受光量に応じた画素信号が生成される。したがって、Mg、Cy、G、Yeに覆われた画素Pそれぞれにより、Mg、Cy、G、Yeの色成分の光の受光量に応じたMg画素信号、Cy画素信号、G画素信号、Ye画素信号(以後、Mg、Cy、G、Yeとする)が生成される。
撮像素子26はAFE27に駆動される。AFE27は、内視鏡プロセッサ11に設けられるタイミングコントローラ(図示せず)に制御される。撮像素子26が駆動されることにより、撮像素子26においてフィールド読出しが行なわれる。なお、フィールド読出しでは、1/30秒毎に偶数フィールドの画像信号の出力と奇数フィールドの画像信号の出力とが繰り返される。
偶数フィールドにおいては、奇数行に並ぶ画素Pが生成する画素信号と、一つ上の偶数行に並ぶ画素Pが生成する画素信号とが混合される。混合された画素信号が行方向に沿って、順番に出力される。一つの奇数行から混合された画素信号が出力されると、同様に次の奇数行において、画素混合および混合された画素信号の出力が行なわれる。
例えば、偶数フィールドにおいては、1、3、…、2n−1、2n+1、…行に並ぶ画素Pが生成する画素信号と、2、4、…、2n、2n+2、・・・行に並ぶ画素Pが生成する画素信号が混合される。すなわち、1行目においては、左から順番にMg+Cy、G+Ye、Mg+Cy、…の混合が行なわれる。これらの混合された画素信号が順番に出力される。次の3行目においては、左から順番にG+Cy、Mg+Ye、G+Cy、…の混合が行なわれる。これらの混合された画素信号が順番に出力される。
奇数フィールドにおいては、偶数行に並ぶ画素Pが生成する画素信号と、一つ上の奇数行に並ぶ画素Pが生成する画素信号とが混合される。混合された画素信号が行方向に沿って、順番に出力される。一つの偶数行から混合された画素信号が出力されると、同様に次の偶数行において、画素混合及び混合された画素信号の出力が行なわれる。
たとえば、奇数フィールドにおいては、2、4、…、2n、2n+2、…行に並ぶ画素Pが生成する画素信号と、3、5、…、2n+1、2n+3、…行に並ぶ画素Pが生成する画素信号が混合される。すなわち、2行目においては、左から順番にCy+G、Ye+Mg、Cy+G、…の混合が行なわれる。これらの混合された画素信号が順番に出力される。次の4行目においては、左から順番にCy+Mg、Ye+G、Cy+Mg、…の混合が行なわれる。これらの混合された画素信号が順番に出力される。
なお、偶数フィールドまたは奇数フィールドにおいて出力される複数の画素信号によりそれぞれのフィールドの画像信号が形成される。撮像素子26から出力される画像信号は、順番にAFE27に入力される。
AFE27には、CDS(CORRELATED DOUBLE SAMPLING)回路(図示せず)A/Dコンバータ(図示せず)が設けられる。AFE27において、画像信号に対して相関二重サンプリング処理が施される。また、画像信号に対してAD変換が施され、アナログ信号である画像信号からデジタルデータである画像データに変換される。
画像データは、画像信号と同様にそれぞれの画素に対応した画素データによって形成される。画像データは、順番に画像処理装置30に入力される。画像処理装置30において、以下に説明する画像信号処理が行われる。
図4に示すように、画像処理装置30は、AGC(AUTO GAIN CONTROLLER)31、色信号処理部32、輝度信号処理部33、エンコーダ34によって構成される。
画像処理装置30に入力された画素データは、AGC31に受信される。AGC31により画素データのゲインコントロールが行なわれる。AGC31からは、ゲインコントロールが行なわれたMg+Cy、Ye+G、G+Cy、Mg+Yeが色信号処理部32および輝度信号処理部33に送られる。
色信号処理部32では、画素データに基づいて、画素P毎の色差データR−YL、B−YLと第2の狭帯域輝度データYL’とが生成される。輝度信号処理部33では、画素データと第2の狭帯域輝度データYL’とに基づいて、画素P毎の補正輝度データYH”が生成される。
同じ画素Pについての色差データR−YL、B−YLと補正輝度データYH”とが、エンコーダ34に送られる。エンコーダ34により、色差データR−YL、B−YLと補正輝度データYH”とがエンコードされ、さらにD/A変換処理が施され、アナログ信号である映像信号として、内視鏡プロセッサ11に送られる。
次に色信号処理部32の構成および機能について説明する。図5に示すように、色信号処理部32は、RGBマトリックス回路32a、ガンマ補正回路32b、第1、第2のYLマトリックス回路32c1、32c2、ホワイトバランス補正回路32d、色差マトリックス回路32e、およびLPF32fによって構成される。
色信号処理部32に入力される画素データは、RGBマトリックス回路32aに入力される。RGBマトリックス回路32aにおいてRGBマトリックス処理を行うことによって、補色の光成分に応じたデータレベルであるMg、Cy、Ye、Gから、原色の光成分に応じたデータレベルであるR、G、Bに変換される。
RGBマトリックス回路32aにおける処理のために、RGBマトリックス処理を受ける注目画素に対して特定の位置に配置された画素の画素信号が、注目画素に対応付けられる。注目画素から列方向(上方向)に4画素、行方向(右方向)に2画素の画素信号が注目画素に対応付けられた画素信号に定められる。
例えば、偶数フィールドにおいて1行1列目に配置された画素Pを注目画素とする場合に、画素混合して出力される1行1列目の混合画素信号Mg+Cy、1行2列目の混合画素信号G+Ye、3行1列目の混合画素信号G+Cy、および3行2列目の混合画素信号Mg+Yeが、注目画素に対応付けられる(図3参照)。
また、偶数フィールドにおいて1行2列目に配置された画素Pを注目画素とする場合に、画素混合して出力される1行2列目の混合画素信号G+Ye、1行2列目の混合画素信号Mg+Cy、3行1列目の混合画素信号G+Cy、および3行2列目の混合画素信号Mg+Yeが、注目画素に対応付けられる。
以後、1行目の画素Pに関しては、最終列の前の列までの画素Pに対して、同様の位置関係にある画素Pの混合画素信号が対応付けられる。
また、偶数フィールドにおいて3行1列目に配置された画素Pを注目画素とする場合に、画素混合して出力される3行1列目の混合画素信号G+Cy、3行2列目の混合画素信号Mg+Ye、5行1列目の混合画素信号Mg+Cy、および5行2列目の混合画素信号G+Yeが、注目画素に対応付けられる。
また、偶数フィールドにおいて3行2列目に配置された画素Pを注目画素とする場合に、画素混合して出力される3行2列目の混合画素信号Mg+Ye、3行3列目の混合画素信号G+Cy、5行2列目の混合画素信号G+Ye、および5行3列目の混合画素信号Mg+Cyが、注目画素に対応付けられる。
以後、3行目の画素Pに関しても、最終列の前の列までの画素Pに対して、同様の位置関係にある画素Pの混合画素信号が対応付けられる。
奇数フィールドにおいても、偶数フィールドと同様に各画素に対して混合画素信号が対応付けられる。
前述のように、いずれの画素Pが注目画素になる場合でも、混合画素信号Mg+Cy、G+Ye、G+Cy、Mg+Yeが、注目画素に対応付けられる。
注目画素PのRGBマトリックス処理のために、対応付けられた画素データ、すなわち混合画素信号に対応する混合画素データがRGBマトリックス回路32aに入力される。入力された混合画素データMg+Cy、G+Ye、G+Cy、Mg+Yeに以下の(1)式に応じた変換が施され、原色データ成分R、G、Bが生成される。生成された原色データ成分R、G、Bは、ガンマ補正回路32b、第1、第2のYLマトリックス回路32c1、32c2に送られる。
Figure 0004895834
ガンマ補正回路32bでは、原色データ成分R、G、B毎にガンマ補正処理が施される。ガンマ補正処理の施された原色データ成分R、G、Bは、ホワイトバランス補正回路32dに送られる。ホワイトバランス処理回路32dにより、原色データ成分R、G、Bにホワイトバランス処理が施される。ホワイトバランス処理の施された原色データ成分R、Bは色差マトリックス回路32eに送られる。
また、第1のYLマトリックス回路32c1では、原色データ成分R、G、Bに対して所定の係数を乗じて、加算することにより、第1の狭帯域輝度データYL(YL=0.3R+0.59G+0.11B)が生成される。第1の狭帯域輝度データYLは、色差マトリックス回路32eに送られる。
色差マトリックス回路32eでは、原色データ成分R、Bと第1の狭帯域輝度データYLに基づいて、色差データR−YL、B−YLが生成される。色差データR−YL、B−YLは、エンコーダ34に送られる。
また、前述のように第2のYLマトリックス回路32c2にも、原色データ成分R、G、Bが送られる。第2のマトリックス回路32c2では、特性情報に応じて定められる所定の係数によってR、G、Bに重みを付けて加算することにより、第2の狭帯域輝度データYL’が生成される。なお、電子内視鏡20を内視鏡プロセッサ11に接続すると、特性情報が内視鏡プロセッサ11から第2のYLマトリックス回路32c2に送られる。
特性情報は、接続される内視鏡プロセッサ11に設けられる光源(図示せず)の種類を示す情報である。光源として、ハロゲンランプ(図示せず)、キセノンランプ(図示せず)、メタハラランプ(図示せず)が用いられる。第2のYLマトリックス回路32c2内には、特性情報に対応した各色成分の係数値のデータテーブルが格納されたメモリ(図示せず)が設けられ、入力される光源の特性情報に対応したR、G、Bに乗じる係数が設定される。
光源がハロゲンランプである場合には、第2の狭帯域輝度データYL’はYL’=0R+0。9G+0.1Bの計算式により、求められる。光源がキセノンランプである場合には、第2の狭帯域輝度データYL’はYL’=0.3R+0.5G+0.2Bの計算式により、求められる。光源がメタハラランプである場合には、第2の狭帯域輝度データYL’はYL’=0.3R+0.7G+0Bの計算式により、求められる。
生成された第2の狭帯域輝度データYL’は、LPF32fに送られる。連続して並ぶ狭帯域輝度データYL’において、空間周波数の高周波成分が除去される。例えば、連続して並ぶ画素Pの狭帯域輝度データYL’のデータレベルが階段状に並ぶ状態において(図6a参照)、LPF32fにより段の切替わりの前後におけるデータレベルの変化率の絶対値が減少する(図6b参照)。高周波成分の除去された第2の狭帯域輝度データYL’は、輝度信号処理部33に送られる。
次に、輝度信号処理部33の構成及び機能について説明する。図7に示すように、輝度信号処理部33は、YHマトリックス回路33a、補正値算出回路35、加算器33bおよびガンマ補正回路33cによって構成される。
輝度信号処理部33に入力される画素データは、YHマトリックス回路33aに入力される。YHマトリックス回路33aにおいてYHマトリックス処理を行うことによって、補色の光成分に応じたデータレベルであるMg、Cy、Ye、Gから、画素Pにおける広帯域輝度に応じたデータレベルである第1の広帯域輝度データYH(YH=Mg+Cy+Ye+G)が生成される。
なお、Mg、Cy、YeそれぞれのデータレベルはR+B、G+B、R+Gに相当する。したがって、第1の広帯域輝度データYHのデータレベルは、2R+3G+2Bに相当する。第1の広帯域輝度データYHは、補正値算出回路35と加算器33bとに送られる。
補正値算出回路35では、入力される第1の広帯域輝度データYHに基づいて、補正データkYH’を算出するか否かが判断される。補正データkYH’を算出する場合には、補正データkYH’の正負が反転されて、加算器33bに出力される。補正データkYH’を算出しない場合には、データレベルがゼロであるゼロデータが補正データとして加算器33bに出力される。
加算器33bにおいて、入力される第1の広帯域輝度データYHと補正値算出回路35から出力される補正データとが加算される。すなわち、補正値算出回路35において補正データkYH’が算出された場合には、第1の広帯域輝度データYHから補正データkYH’を減算したYH−kYH’が補正輝度データYH”として算出される。また、補正値算出回路35において補正データが算出されない場合には、第1の広帯域輝度データYHの減算が実質的に行なわれずに、補正輝度データYH”として算出される。
算出された補正輝度データYH”は、ガンマ補正回路33cに送られる。ガンマ補正回路33cにおいて、補正輝度データYH”にガンマ補正処理が施される。ガンマ補正処理の施された補正輝度データYH”が、エンコーダ34に送られる。
次に、補正値算出回路35の内部構成について、さらに説明する。図8に示すように、
補正値算出回路35は、減算器35、判断回路35、および乗算器35によって構成され
る。
前述のように、補正値算出回路35には、YHマトリックス回路33aから第1の広帯域輝度データYH、色信号処理部32から第2の狭帯域輝度データYL’、およびROM(図示せず)から乗算係数k(0<k<1)が、入力される。なお、同時に入力される第1の広帯域輝度データYHと第2の狭帯域輝度データYL’とが同じ画素Pに対応するように、補正値算出回路35へのデータ入力が制御される。
第1の広帯域輝度データYHは、減算器35aおよび判断回路35bに入力される。第2の狭帯域輝度データYL’は、減算器35aに入力される。乗算係数kは、乗算器35cに入力される。
減算器35aにおいて、第2の狭帯域輝度データYL’から第1の広帯域輝度データYHが減算される。すなわち、第1の広帯域輝度データYHから第2の狭帯域輝度データYL’を減算した第2の広帯域輝度データYH’(=(YH−YL’))の正負を反転させたデータが算出される。算出された第2の広帯域輝度データYH’は、判断回路35bに送られる。
判断回路35bでは、入力される第1の広帯域輝度データYHと第1の閾値とが比較される。なお、第1の閾値はROM(図示せず)に記憶されており、比較時に読出される。第1の広帯域輝度データYHが第1の閾値より大きいときには、減算器35aから送られる反転された第2の広帯域輝度データYH’が出力される。また、第1の広帯域輝度データYHが第1の閾値より小さいときには、減算器35aから送られる第2の広帯域輝度データYH’が出力されずに、データレベルがゼロであるゼロデータが出力される。
判断回路35bから出力されるデータは、乗算器35cに送られる。乗算器35cでは、判断回路35bから送られるデータに乗算係数kが乗じられる。従って、判断回路35bから第2の広帯域輝度データYHが出力される場合には、補正データkYH’(=k×(YH−YL’))の正負を反転させたデータが算出される。また、判断回路35bからデータレベルがゼロであるゼロデータが出力される場合には、ゼロデータに乗算係数を乗じたゼロデータが算出される。乗算器35cから補正データまたはゼロデータが、前述の加算器33bに出力される。
前述のように、加算器33bにおいて第1の広帯域輝度データYHおよび補正データkYH’またはゼロデータに基づいて、補正輝度データYH”が求められる。さらにガンマ補正処理を受けた補正輝度データYH”が色差データR−YL、B−YLとともにエンコードされ、映像信号として内視鏡プロセッサ11に送られる。
内視鏡プロセッサ11にはメモリ(図示せず)が設けられ、送られた補正輝度データと色差データとがメモリに格納される。一旦メモリに格納された後、補正輝度データと色差データとがモニタ12に送られる。モニタ12において、補正輝度データと色差データとから原色データ成分が生成される。原色データ成分に基づいて、撮影した画像が表示される。
次に画像処理装置30により実行される画像信号処理について図9、図10のフローチャートを用いて説明する。本実施形態における画像信号処理は、電子内視鏡20を内視鏡プロセッサ11に接続して、内視鏡プロセッサ11の電源をONにすることにより開始する。また、本実施形態における画像信号処理は、内視鏡プロセッサ11の動作モードを観察モード以外の動作モードに切替えられるとき、または内視鏡プロセッサ11の電源をOFFにしたときに終了する。
ステップS100において、内視鏡プロセッサ11から特性情報が読出される。読出した特性情報に基づいてステップS101、ステップS102では、接続される内視鏡プロセッサ11内部の光源の種類が判断される。
ステップS101では、光源がハロゲンランプであるか否かが判断され、ハロゲンラン
プであると判断したときには、ステップS103に進む。ハロゲンランプでないと判断し
たときには、ステップS102に進む。ステップS10では、光源がキセノンランプで
あるか否かの判断が行なわれる。キセノンランプであると判断したときには、ステップS
104に進み、キセノンランプでないと判断したときにはメタハラランプであると判断し
てステップS105に進む。
ステップS103では、ハロゲンランプに対応させた所定の係数を用いて第2の狭帯域輝度データYL’(=0R+0.9G+0.1B)が算出される。ステップS104では、キセノンランプに対応させた所定の係数を用いて第2の狭帯域輝度データYL’(=0.3R+0.5G+0.2B)が算出される。また、ステップS105では、メタハラランプに対応させた所定の係数を用いて第2の狭帯域輝度データYL’(=0.3R+0.7G+0B)が算出される。
ステップS103〜ステップS105のいずれかのプロセスの後、ステップS106に進む。ステップS106では、混合画素データMg+Cy、G+Ye、G+Cy、Mg+Yeが受信される。
ステップS107では、受信した混合画素データMg+Cy、G+Ye、G+Cy、Mg+Yeに基づいて、色差データR−YL、B−YL、および第2の狭帯域輝度データYL’が生成される。
次のステップS108では、受信した混合画素データMg+Cy、G+Ye、G+Cy、Mg+Yeに基づいて、第1の広帯域輝度データYHが生成される。第1の広帯域輝度データYHの生成後、ステップS109において、第1の広帯域輝度データYHおよび第2の狭帯域輝度データYL’に基づいて第2の広帯域輝度データYH’が生成される。
第2の広帯域輝度データYH’の算出後、ステップS110において、第1の広帯域輝度データYHのデータレベルが第1の閾値より大きいか否かが判別される。第1の閾値より大きいときにはステップS111に進み、第1の閾値を超えないときにはステップS112に進む。
ステップS111では、第2の広帯域輝度データYH’を用いて補正データkYH’が算出され、加算器33bに出力される。ステップS112では、第2の広帯域輝度データYH’が破棄され、ゼロデータが、加算器33bに出力される。
補正データkYH’またはゼロデータが出力されると、ステップS113に進む。ステップS113では、第1の広帯域輝度データYHに対して、補正データkYH’またはゼロデータを用いて輝度の補正が行なわれ、補正輝度データYH”が生成される。
生成された補正輝度データYH”は、ステップS107において生成した色差データR−YL、B−YLとともにエンコーダ34に出力される。エンコーダ34への出力後、ステップS106に戻り、以後ステップS106〜ステップS112の処理が繰り返される。
以上のような第1の実施形態の画像処理装置によれば、観察する被写体の色によらず、色の再現性を高く保つことが可能となる。また照明光の種類によらず、色の再現性を高く保つことが可能になる。このような効果について以下に説明する。
本実施形態のように一般的な内視鏡システムでは、撮像素子は補色カラーフィルタによって覆われており、画像信号を構成する補色信号成分Mg、Cy、Ye、Gから一旦輝度信号と色差信号とが生成される。生成された輝度信号と色差信号がモニタに送られ、モニタにおいて輝度信号と色差信号とに基づいて原色信号成分R、G、Bが生成される。または、電子内視鏡または内視鏡プロセッサにおいて原色信号成分R、G、Bが生成され、モニタに伝送される。
ところで、ノイズの影響の低減化のために、広帯域輝度信号YHがモニタにおける輝度信号として用いられる。また、正確な色の再現のために、狭帯域輝度信号YLを用いて生成される色差信号R−YL、B−YLがモニタにおける色差信号として用いられる。
広帯域輝度信号YHは、補色信号成分Mg、Cy、Ye、Gを合計することにより算出される。したがって、前述のように広帯域輝度信号YHは2R+3G+2Bに相当する。一方、狭帯域輝度信号YLは、補色信号Mg、Cy、Ye、Gに基づいて原色信号R、G、Bを生成し、生成した原色信号それぞれに0.3、0.59、0.11を乗じて加算することにより算出される。すなわち、狭帯域輝度信号YLは0.3R+0.59G+0.11Bである。
Gに乗じられる係数に対するRに乗じられる係数の比は、広帯域輝度信号YHでは0.67、狭帯域輝度信号YLでは0.51である。したがって、赤色光成分が与える影響は広帯域輝度信号YHの方が大きい。そのため、赤色光成分の大きな被写体を撮像するときには、広帯域輝度信号YHが飽和しなくても色差信号R−YLに広帯域輝度信号YHを加算して復元した原色信号成分Rが飽和することがある。特に医療用電子内視鏡の被写体は生体であり、全体的に赤色であるため原色信号成分Rが飽和する可能性が高い。
一方、本実施形態における内視鏡システム10では、画素で受光する光の赤色光成分が大きいほど、第1の広帯域輝度信号YHから減じる補正データkYH’が大きくなり、補正輝度データYH”は小さくなる。それゆえ、赤色光成分が大きくても原色信号成分Rが飽和することを防ぐことが可能になる。
また、Gに乗じられる係数に対するBに乗じられる係数の比は、Rの場合と同様に広帯域輝度信号YHのときの方が大きい。したがって、青色光成分が与える影響は、広帯域輝度信号YHの方が大きい。したがって、青色光成分の大きな被写体を撮像するときには、広帯域輝度信号YHが飽和しなくても色差信号B−YLから復元した原色信号成分Bが飽和することがある。
内視鏡システムでは複数の種類の光源が使われることがあり、光源の種類によっては照明光の赤色光成分の強度、青色光成分の強度が異なる。そこで第1の実施形態の画像処理装置30では、光源に応じて第2の狭帯域輝度データYL’を求めるための係数を変えることによって、補正データkYH’に対する原色信号成分R、G、Bの影響が調整される。原色信号成分R、G、Bの影響を変えることにより、原色信号成分R、Bの飽和を防ぐことが可能になる。
また、第1の実施形態の画像処理装置によれば、第2の狭帯域輝度データYL’はLPF32fにより高周波成分が除去される。したがって、第2の狭帯域輝度データYL’に基づく補正データkYH’を用いて補正した補正輝度データの輪郭を強調することが可能である。
例えば、図11に示すように、広帯域輝度信号YHが第1の閾値を超える位置において、輝度信号の補正が行われる(符号α参照)。この位置における第2の広帯域輝度データYH’(=YH−YL’)の高周波成分は除去されている。補正係数kを乗じて補正データkYH’が生成される。第1の広帯域輝度データYHから補正データkYH’を減じることにより、輪郭が強調される。
特に、本実施形態のように広帯域輝度信号YHの修正された位置では、補正輝度データ
YH”の変位実際の変位に比べて小さくなるため輪郭がぼやけやすくなる。一方、本
実施形態のように、修正された位置において輪郭が強調されるので、輪郭のぼけを低減化
することが可能になる。
次に、本発明の第2の実施形態を適用した画像処理装置を有する内視鏡システムについて説明する。第2の実施形態では、画像処理装置が電子内視鏡でなく、内視鏡プロセッサに設けられる点で第1の実施形態と異なっている。以下に、第1の実施形態と異なる点について説明する。なお、同じ機能を有する部位には同じ符号を付する。
図12に示すように、電子内視鏡200には、ライトガイド25、撮像素子26、AFE27、およびROM29などが設けられる。ライトガイド25、撮像素子26、およびAFE27の配置、機能は第1の実施形態と同じである。
ROM29はコネクタ24内に設けられ、特性情報が記憶される。特性情報は、電子内視鏡の種類を示す情報である。例えば、電子内視鏡の種類は、気管支用内視鏡、上部消化官用内視鏡、下部消化官用内視鏡などである。コネクタ24を内視鏡プロセッサ11に接続すると、ROM29が内視鏡プロセッサ11内部に設けられる画像処理装置30に接続される。特性情報は画像処理装置30に読出される。
また、AFE27から出力される混合画素データMg+Cy、G+Ye、G+Cy、Mg+Yeも、内視鏡プロセッサ11内部に設けられる画像処理装置30に出力される。
第2の実施形態における画像処理装置30は、前述のように内視鏡プロセッサ11内部に設けられる。特性情報に応じた第2の狭帯域輝度データYL’を生成するための係数の設定以外の画像処理装置30の構成および機能は第1の実施形態と同じである。
すなわち、図4に示すように、画像処理装置30は、AGC31、色信号処理部32、輝度信号処理部33、およびエンコーダ34によって構成される。画像処理装置30では、第1の実施形態と同様に、補正輝度データYH”および色差データR−YL、B−YLが生成される。生成された補正輝度データYH”および色差データR−YL、B−YLに基づく映像信号が生成される。生成された映像信号がモニタ12に送られる。
第2の実施形態では、色信号処理部32における第2のYLマトリックス回路320c2に送られる特性情報が第1の実施形態と異なる。図13に示すように、色信号処理部32は、RGBマトリックス回路32a、ガンマ補正回路32b、第1、第2のYLマトリックス回路32c1、320c2、ホワイトバランス補正回路32d、色差マトリックス回路32e、およびLPF32fによって構成される。
RGBマトリックス回路32a、ガンマ補正回路32b、第1のYLマトリックス回路32c1、ホワイトバランス補正回路32d、色差マトリックス回路32e、およびLPF32fの機能および各部位との接続関係は、第1の実施形態と同じである。
第2のYLマトリックス回路320c2は、第1の実施形態と異なり、電子内視鏡200のROM29に接続される。ROM29から第2のマトリックス回路320c2に特性情報が送られる。前述のように、特性情報は、接続される電子内視鏡の種類を示す情報である。
第1の実施形態と同様に、第2のマトリックス回路320c2では、特性情報に応じて定められる所定の係数によってR、G、Bに重みを付けて加算することにより、第2の狭帯域輝度データYL’が生成される。
接続される電子内視鏡200が気管支用内視鏡である場合には、第2の狭帯域輝度データYL’はYL’=0.3R+0.5G+0.2Bの計算式により、求められる。接続される電子内視鏡が上部消化管用内視鏡である場合には、第2の狭帯域輝度データYL’はYL’=0R+0.9G+0.1Bの計算式により、求められる。接続される電子内視鏡が下部消化管用内視鏡である場合には、第2の狭帯域輝度データYL’はYL’=0.3R+0.7G+0Bの計算式により、求められる。
気管支は全体的に薄い色、すなわち赤色光成分の弱い色であるため、輝度信号に対する緑色の影響を弱める補正が必要であって、第2の狭帯域輝度データの計算式の中でGの係数を小さくすることにより、このような補正が可能になる。
上部消化管は全体的に赤色であるため、輝度信号に対する赤色の影響を弱める補正が必要であって、第2の狭帯域輝度データの計算式の中でRの係数を小さくすることにより、このような補正が可能になる。
下部消化管は全体的に青色であるため、輝度信号に対する青色の影響を弱める補正が必要であって、第2の狭帯域輝度データの計算式の中でBの係数を小さくすることにより、このような補正が可能になる。
次に第2の実施形態の画像処理装置30により実行される画像信号処理について図10
、図14のフローチャートを用いて説明する。第1の実施形態同様に、本実施形態におけ
る画像信号処理は、電子内視鏡200を内視鏡プロセッサ11に接続して、内視鏡プロセ
ッサ11の電源をONにすることにより開始する。また、本実施形態における画像信号処
理は、内視鏡プロセッサ11の動作モードを観察モード以外の動作モードに切替えられる
とき、または内視鏡プロセッサ11の電源をOFFにしたときに終了する。
ステップS100’において、電子内視鏡200から特性情報が読出される。読出
した特性情報に基づいてステップS101’、ステップS102’では、内視鏡プロセッ
サ11に接続される電子内視鏡200の種類が判断される。
ステップS101’では、電子内視鏡200が気管支用内視鏡あるか否かが判断され、気管支用内視鏡であると判断したときには、ステップS103’に進む。気管支用内視鏡でないと判断したときには、ステップS102’に進む。ステップS103’では、電子内視鏡200が上部消化管用内視鏡であるか否かの判断が行なわれる。上部消化管用内視鏡であると判断したときには、ステップS104’に進み、上部消化管用内視鏡でないと判断したときには下部消化管用内視鏡であると判断してステップS105’に進む。
ステップS103’では、気管支用内視鏡に対応させた所定の係数を用いて第2の狭帯域輝度データYL’(=0.3R+0.5G+0.2B)が算出される。ステップS104’では、上部消化管用内視鏡に対応させた所定の係数を用いて第2の狭帯域輝度データYL’(=0R+0.9G+0.1B)が算出される。また、ステップS105’では、下部消化管用内視鏡に対応させた所定の係数を用いて第2の狭帯域輝度データYL’(=0.3R+0.7G+0B)が算出される。
ステップS103’〜ステップS105’のいずれかのプロセスの後、ステップS106(図10参照)に進む。以後、第1の実施形態と同じステップS106〜ステップS113が実行される。
以上のような第2の実施形態の画像処理装置によれば、第1の実施形態と同様に、観察する被写体の色によらず、色の再現性を高く保つことが可能になる。また、第2の実施形態の画像処理装置30によれば、内視鏡プロセッサ11に接続される電子内視鏡200により観察される部位にもよらず、色の再現性を高く保つことが可能になる。
なお、第1、第2の実施形態において、第2の狭帯域輝度データYL’を求め、第1の広帯域輝度データYHから第2の狭帯域輝度データYL’を減じることにより第2の広帯域輝度データYH’が求められる構成であるが、第2のYLマトリックス回路32c2、320c2において、原色信号R、G、Bに直接所定の係数を乗じることにより、第2の広帯域輝度データYH’に相当する輝度データを生成して、第2の広帯域輝度データの代わりに第1の広帯域ドデータYHの補正に用いてもよい。ただし、第2の広帯域輝度データYH’に相当する輝度データにおいて原色データ成分Gに乗じる係数に対する原色データ成分Rに対して乗じる係数の比は、第1の広帯域輝度データYHにおける原色データ成分Gに乗じる係数に対する原色データ成分Rに乗じる係数の比より大きくなるように係数を定める必要がある。
このように原色データ成分Rに乗じる係数を定めることにより、補正輝度データYH”における原色データ成分Rの影響を低減化することが可能になる。補正輝度データYH”における原色データ成分Bの影響を低減化させる場合には、原色データ成分Gに乗じる係数に対する原色データ成分Bに乗じる係数の比を、第1の広帯域輝度データYHにおける原色データ成分Gに乗じる係数に対する原色データ成分Bに乗じる係数の比より大きくなるように係数を定めればよい。
また、第1、第2の実施形態において、色差データR−YL、B−YLおよび補正輝度データYH”に基づく映像信号を生成して出力する構成であるが、色差データR−YL、B−YLおよび補正輝度データYH”から原色データ成分R、G、Bを生成して、直接原色データ成分R、G、Bを後段の機器に送信してもよい。
また、第1、第2の実施形態において、各画素Pは補色フィルタによって覆われる構成であるが、赤、緑、青の原色フィルタによって覆われる構成であってもよい。原色フィルタで覆われる場合には、画素信号は、赤、緑、青の原色光成分の光の受光量に応じた原色信号成分R、G、Bである。それゆえ、原色信号成分R、G、Bから一旦補色信号Mg、Cy、Ye、Gを生成して本実施形態における画像信号処理を施すことが可能である。或いは、所定の係数を原色信号成分R、G、Bに直接乗じることにより第1の広帯域輝度信号YHに相当する輝度信号および、第1、第2の狭帯域輝度信号YL、YL’を生成してもよい。
また、第1、第2の実施形態において、単一のLPF32fにより所定の周波数を超える高周波成分が除去されるが、カットオフ周波数が異なる複数のLPFを用いるなどの構成により、カットオフ周波数が変更可能であってもよい。カットオフ周波数を変えることにより、輪郭強調の度合いである先鋭度の調整が可能である。
例えば、判断回路35bにおける第1の広帯域データYHと比較するための閾値として第1、第2の閾値(第1の閾値>第2の閾値)を定め、第1の広帯域輝度データYHが第1の閾値より大きい場合と、第1の広帯域輝度データYHが第1の閾値と第2の閾値の間にある場合によって、カットオフ周波数を変更させることも可能である。
なお、LPF32fによる輪郭強調処理を行わなくても、第1、第2の実施形態における色の再現性の向上は可能である。
また、第1、第2の実施形態では、第1の閾値は所定の値であるが、変更可能であっても良い。使用者により変更可能であってもよいし、内視鏡システム10において用いる機器に応じて自動的に変更される構成であってもよい。
本発明の第1の実施形態を適用した画像処理装置を有する内視鏡システムの示す外観構成図である。 第1の実施形態の電子内視鏡の内部構成を示すブロック図である。 撮像素子の受光面における補色フィルタの配置図である。 第1、第2の実施形態の画像処理装置の内部構成を示すブロック図である。 第1の実施形態の色信号処理部の内部構成を示すブロック図である。 線上に並ぶ画素における輝度データのデータレベルの分布図である。 第1、第2の実施形態の輝度信号処理部の内部構成を示すブロック図である。 第1、第2の実施形態の補正値算出回路の内部構成を示すブロック図である。 第1の実施形態における第2の狭帯域輝度データYL’を計算するためのフローチャートである。 第1、第2の実施形態において、計算された第2の狭帯域輝度データYL’に基づいて、補正輝度データを生成するためのフローチャートである。 輪郭強調処理を説明するために、線上に並ぶ画素における輝度データのデータレベルの分布図である。 第2の実施形態の電子内視鏡の内部構成を示すブロック図である。 第2の実施形態の色信号処理部の内部構成を示すブロック図である。 第2の実施形態における第2の狭帯域輝度データYL’を計算するためのフローチャートである。
符号の説明
10 内視鏡システム
11 内視鏡プロセッサ
20、200 電子内視鏡
26 撮像素子
30 画像処理装置
32 色信号処理部
32a RGBマトリックス回路
32c1 第1のYLマトリックス回路
32c2、320c2 第2のYLマトリックス回路
32e 色差マトリックス回路
32f LPF
33 輝度信号処理部
33a YHマトリックス回路
33b 加算器
33c ガンマ補正回路
35 補正値算出回路
35a 減算器
35b 判断回路
35c 乗算器
P 画素

Claims (15)

  1. 撮像素子の受光面を形成する複数の画素それぞれにおける受光量に応じた画素信号によって形成される画像信号を受信する受信部と、
    前記画像信号に基づいて、前記画素に対応付けた複数の原色成分の光量値に第1の係数群で重み付けを施して、加算した値に相当する第1の輝度を算出する第1の輝度算出部と、
    前記複数の原色成分の中の第1の原色成分の光量値に施す重み付けに対する第2の原色成分の光量値に施す重み付けの比が前記第1の係数群を用いるときより大きくなる第2の係数群を用いて、前記画像信号に基づいて前記画素に対応付けた複数の原色成分の光量値に重み付けを施して加算した値に相当する第2の輝度を算出する第2の輝度算出部と、
    前記第1の輝度を、所定の閾値と比較する比較部と、
    前記第1の輝度が前記所定の閾値より大きい場合には、前記第2の輝度に応じた輝度補正値を算出する補正値算出部と、
    前記第1の輝度から前記補正値を減算することにより、補正輝度を算出する第1の減算部とを備える
    ことを特徴とする画像処理装置。
  2. 前記画像信号に基づいて、前記画素に対応する色差を算出する色差算出部と、
    前記第1の輝度が前記所定の閾値より大きい場合には前記色差と前記補正輝度とに対応する色差信号と補正輝度信号とを前記画素における色差信号と輝度信号として出力し、前記第1の輝度が前記所定の閾値より小さい場合には前記色差と前記第1の輝度に対応する色差信号と第1の輝度信号とを前記画素における色差信号と輝度信号として出力する出力部とを備える
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像信号に基づいて、前記画素に対応する色差を算出する色差算出部と、
    前記第1の輝度が前記所定の閾値より大きい場合には前記色差と前記補正輝度とに基づいて前記画素における原色成分に対応する原色信号を生成し、前記第1の輝度が前記所定の閾値より小さい場合には前記色差と前記第1の輝度とに基づいて前記画素における原色成分に対応する原色信号を生成する色信号生成部とを備える
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記第2の係数群は、変更可能であることを特徴とする請求項1〜請求項3のいずれか1項に記載の画像処理装置。
  5. 前記撮像素子が受光する被写体を照明するための光源の種類を検出する光源検出部を備え、前記光源検出部により検出される光源の種類に応じて前記第2の係数群を変更し、前記撮像素子を有する内視鏡に設けられることを特徴とする請求項4に記載の画像処理装置。
  6. 前記撮像素子を有する内視鏡の種類を検出する内視鏡検出部を備え、前記内視鏡検出部により検出される内視鏡の種類に応じて前記第2の係数群を変更し、前記画像信号に対して所定の信号処理を施す内視鏡プロセッサに設けられることを特徴とする請求項4に記載の画像処理装置。
  7. 前記補正輝度の算出された前記画素において、輪郭強調を施す輪郭強調処理部を備えることを特徴とする請求項1〜請求項6のいずれか1項に記載の画像処理装置。
  8. 前記輪郭強調処理部による輪郭強調の先鋭度を変更可能であることを特徴とする請求項7に記載の画像処理装置。
  9. 前記所定の閾値として第1の閾値と前記第1の閾値より小さな第2の閾値が定められ、
    前記輪郭強調処理部は、前記第1の輝度が前記第1の閾値と前記第2の閾値との範囲に含まれるときにおける輪郭強調の先鋭度と、前記第1の輝度が前記第1の閾値より大きいときにおける輪郭強調の先鋭度を変更する
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記所定の閾値は、変更可能であることを特徴とする請求項1〜請求項9のいずれか1項に記載の画像処理装置。
  11. 前記輝度補正値は、前記第2の輝度に、1未満の所定の係数を乗じることにより算出されることを特徴とする請求項1〜請求項10のいずれか1項に記載の画像処理装置。
  12. 前記複数の原色成分の中の前記第1の原色成分の光量値に施す重み付けに対する第2の原色成分の光量値に施す重み付けの比が前記第1の係数群を用いるときより小さくなる第3の係数群を用いて、前記画像信号に基づいて前記画素に対応付けた複数の原色成分の光量値に重み付けを施して加算した値に相当する第3の輝度を算出する第3の輝度算出部を備え、
    前記第2の輝度算出部は、前記第1の輝度から前記第3の輝度を減算することにより、前記第2の輝度を算出する
    ことを特徴とする請求項1〜請求項11のいずれか1項に記載の画像処理装置。
  13. 前記画像信号は補色信号成分によって形成され、
    前記第1の輝度算出部は、前記画素に対応する複数の前記補色信号成分を加算することにより第1の輝度を算出し、
    前記第3の輝度算出部は、前記画素に対応する複数の前記補色信号成分に基づいて前記画素に対応する複数の原色信号成分を算出し、複数の前記原色信号成分を前記第3の係数群で重み付けする
    ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記画像信号を形成する原色信号成分に基づいて、補色信号成分を生成する補色信号生成部を備え、
    前記第1の輝度算出部は、前記画素に対応する複数の前記補色信号成分を加算することにより第1の輝度を算出し、
    前記第3の輝度算出部は、前記画素に対応する複数の前記原色信号成分を前記第3の係数群で重み付けする
    ことを特徴とする請求項12に記載の画像処理装置。
  15. 前記画像信号は原色信号成分によって形成され、
    前記第1の輝度算出部は、前記画素に対応する複数の前記原色信号成分を前記第1の係数群で重み付けを行い、
    前記第3の輝度算出部は、前記画素に対応する複数の前記原色信号成分を前記第3の係数群で重み付けを行なう
    ことを特徴とする請求項12に記載の画像処理装置。
JP2007013038A 2007-01-23 2007-01-23 画像処理装置 Active JP4895834B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007013038A JP4895834B2 (ja) 2007-01-23 2007-01-23 画像処理装置
US12/017,406 US8233038B2 (en) 2007-01-23 2008-01-22 Image-signal processing unit
DE102008005679.0A DE102008005679B4 (de) 2007-01-23 2008-01-23 Bildsignalverarbeitungseinheit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007013038A JP4895834B2 (ja) 2007-01-23 2007-01-23 画像処理装置

Publications (3)

Publication Number Publication Date
JP2008178481A JP2008178481A (ja) 2008-08-07
JP2008178481A5 JP2008178481A5 (ja) 2009-12-17
JP4895834B2 true JP4895834B2 (ja) 2012-03-14

Family

ID=39531079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007013038A Active JP4895834B2 (ja) 2007-01-23 2007-01-23 画像処理装置

Country Status (3)

Country Link
US (1) US8233038B2 (ja)
JP (1) JP4895834B2 (ja)
DE (1) DE102008005679B4 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009182937A (ja) * 2008-02-01 2009-08-13 Hoya Corp 画像信号処理ユニット、デジタルカメラ、およびプリンタ
JP5294723B2 (ja) * 2008-06-26 2013-09-18 富士フイルム株式会社 画像取得装置
WO2010044432A1 (ja) * 2008-10-17 2010-04-22 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP5856960B2 (ja) * 2009-10-06 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム
JP5371702B2 (ja) * 2009-11-06 2013-12-18 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5591570B2 (ja) * 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP5371921B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP6136669B2 (ja) * 2013-07-08 2017-05-31 株式会社ニコン 撮像装置
JP5932748B2 (ja) 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム
JP5881658B2 (ja) * 2013-09-27 2016-03-09 富士フイルム株式会社 内視鏡システム及び光源装置
DE112014007038T5 (de) * 2014-11-28 2017-08-10 Olympus Corporation Endoskopvorrichtung
WO2017090366A1 (ja) * 2015-11-25 2017-06-01 オリンパス株式会社 内視鏡システムおよび撮影方法
AU2018200147B2 (en) 2017-01-09 2018-11-15 Verathon Inc. Upgradable video laryngoscope system exhibiting reduced far end dimming
JP7159441B2 (ja) * 2019-03-05 2022-10-24 オリンパス株式会社 内視鏡装置および内視鏡装置の作動方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4697208A (en) * 1985-06-13 1987-09-29 Olympus Optical Co., Ltd. Color image pickup device with complementary color type mosaic filter and gamma compensation means
JPH06327624A (ja) * 1993-05-21 1994-11-29 Olympus Optical Co Ltd 電子内視鏡装置
US5621465A (en) * 1995-04-11 1997-04-15 Matsushita Electric Industrial Co., Ltd. Color image encoder
JP3480477B2 (ja) * 1995-07-26 2003-12-22 ソニー株式会社 動き検出回路および動き検出方法、並びに輝度・色信号分離装置
JP3691634B2 (ja) * 1997-05-13 2005-09-07 オリンパス株式会社 電子内視鏡装置
JP3917733B2 (ja) * 1997-10-31 2007-05-23 オリンパス株式会社 電子内視鏡装置
DE69835871T2 (de) * 1997-12-25 2007-04-05 Sony Corp. Verfahren und Gerät zur Signalumsetzung
JP2000221417A (ja) * 1999-02-04 2000-08-11 Olympus Optical Co Ltd 内視鏡撮像装置
JP3529759B2 (ja) * 2001-01-26 2004-05-24 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法
JP4338337B2 (ja) * 2001-06-15 2009-10-07 Hoya株式会社 色調整処理を行う電子内視鏡装置および電子内視鏡装置のビデオスコープ
JP4502577B2 (ja) * 2002-12-19 2010-07-14 Hoya株式会社 電子内視鏡装置
JP4394359B2 (ja) * 2003-02-17 2010-01-06 Hoya株式会社 内視鏡の光源装置
KR101129060B1 (ko) * 2003-10-30 2012-04-12 파나소닉 주식회사 표시장치, 표시방법, 프로그램 및 기록매체
JP2005260517A (ja) * 2004-03-11 2005-09-22 Sanyo Electric Co Ltd 画像信号処理装置
US7583303B2 (en) * 2005-01-31 2009-09-01 Sony Corporation Imaging device element
US8031243B2 (en) * 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image

Also Published As

Publication number Publication date
DE102008005679A1 (de) 2008-07-24
JP2008178481A (ja) 2008-08-07
US20080174701A1 (en) 2008-07-24
DE102008005679B4 (de) 2017-11-09
US8233038B2 (en) 2012-07-31

Similar Documents

Publication Publication Date Title
JP4895834B2 (ja) 画像処理装置
US10709310B2 (en) Endoscope system, processor device, and method for operating endoscope system
US10039439B2 (en) Endoscope system and method for operating the same
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US20160089010A1 (en) Endoscope system, processor device, and method for operating endoscope system
JP6522539B2 (ja) 内視鏡システム及びその作動方法
US10163196B2 (en) Image processing device and imaging system
JP2017192594A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2016015995A (ja) 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2020005844A (ja) 医療用画像処理装置及び医療用観察装置
JP4606838B2 (ja) 電子内視鏡装置
JP2012143464A (ja) ホワイトバランス調整システムおよび内視鏡プロセッサ
JP2001154232A (ja) 測光装置
JP6272115B2 (ja) 内視鏡プロセッサおよび内視鏡システム
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2009285132A (ja) 内視鏡画像処理装置および方法
JP6491736B2 (ja) 内視鏡プロセッサおよび内視鏡システム
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JPWO2017212946A1 (ja) 画像処理装置
CN113454514B (zh) 内窥镜***
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system
WO2020026323A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2018130450A (ja) 電子内視鏡システム
JP2004237114A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091029

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111220

R150 Certificate of patent or registration of utility model

Ref document number: 4895834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250