JP5098030B2

JP5098030B2 - 撮像装置、撮像方法、およびプログラム

Info

Publication number: JP5098030B2
Application number: JP2008095966A
Authority: JP
Inventors: 博司山口
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-04-02
Filing date: 2008-04-02
Publication date: 2012-12-12
Anticipated expiration: 2028-04-02
Also published as: JP2009253418A

Description

本発明は、画像を撮像する撮像装置、撮像方法、およびプログラムに関する。本発明は、特に、広帯域画像および狭帯域画像を撮像する撮像装置、撮像方法、およびプログラムに関する。

広帯域光と狭帯域光とを、順次切り替えて照射し、広帯域光のときに撮像された画像と、狭帯域光のときに撮像された画像とを合成する技術が考案されている（たとえば、特許文献１参照。）。また、赤、緑、第１の青、第２の青との四つの発光ダイオードの発光を制御することで、可視広帯域観察、狭帯域観察とを選択的におこなう技術が考案されている（たとえば、特許文献２参照。）。また、白色光と励起光とを交互に出力し、白色光のときに撮像された画像と、励起光のときに撮像された画像とをそれぞれ取得する技術が考案されている（たとえば、特許文献３参照。）。
特開２００７−２０２５８９号公報特開２００６−１６６９４０号公報特開２００４−２３６９５２号公報

しかしながら、上記技術では、狭帯域画像の撮像周期と広帯域画像の撮像周期とをそれぞれ独立して制御することができない。また、上記技術では、同じタイミングの狭帯域画像と広帯域画像とを得ることができない。

上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、第１波長領域の光を受光可能な第１受光部と、第１波長領域内の一部の帯域の光である第１狭帯域光を発光する第１発光部と、第１波長領域内の一部の帯域の光であって、第１狭帯域光と異なる帯域の光である第２狭帯域光を発光する第２発光部と、第１発光部と第２発光部との発光周期または発光位相を異ならせて、第１発光部および第２発光部を周期的に発光させる発光制御部と、第１発光部および第２発光部の一方が発光した場合に第１受光部が受光した光の像である狭帯域画像と、第１発光部および第２発光部の双方が発光した場合に第１受光部が受光した光の像である広帯域画像とを連続して撮像する撮像制御部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置１００のブロック構成の一例を示す。撮像装置１００は、発光部１１０、発光制御部１２４、撮像部１３０、撮像制御部１３８、動き検出部１４２、動きベクトル算出部１４４、広帯域補間画像生成部１４６、狭帯域補間画像生成部１４８、および表示部１５０を備える。

撮像装置１００は、内視鏡であってよい。撮像装置１００が内視鏡である場合、発光部１１０および撮像部１３０は、生体内に挿入される内視鏡の挿入部の先端に設けられてよい。他の例においては、発光部１１０は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体に光を照射してもよい。また、撮像部１３０は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体からの光を受光してもよい。

撮像部１３０は、複数の受光部を有する。具体的には、撮像部１３０は、第１受光部１３２、第２受光部１３４、および第３受光部１３６を有する。第１受光部１３２、第２受光部１３４、および第３受光部１３６は、複数の受光素子をそれぞれ有する。撮像部１３０は、第１受光部１３２の受光素子、第２受光部１３４の受光素子、および第３受光部１３６の受光素子が規則的に配列されたＣＣＤまたはＣＭＯＳであってよい。他の例においては、第１受光部１３２、第２受光部１３４、および第３受光部１３６は、それぞれ異なるＣＣＤまたはＣＭＯＳであってよい。

第１受光部１３２は、第１波長領域の光を主に受光する。たとえば、第１受光部１３２は、Ｂ波長領域（４２０ｎｍ〜４９０ｎｍ）の光を主に受光する。

第２受光部１３４は、第１波長領域と異なる第２波長領域の光を主に受光する。たとえば、第２受光部１３４は、Ｇ波長領域（４９０ｎｍ〜６００ｎｍ）の光を主に受光する。

第３受光部１３６は、第１波長領域および第２波長領域と異なる第３波長領域の光を主に受光する。たとえば、第３受光部１３６は、Ｒ波長領域（６００ｎｍ〜７５０ｎｍ）の光を主に受光する。

発光部１１０は、複数の発光部を有する。具体的には、発光部１１０は、第１発光部１１２、第２発光部１１４、第３発光部１１６、第４発光部１１８、第５発光部１２０、第６発光部１２２を有する。

第１発光部１１２は、第１波長領域内の一部の帯域の光である第１狭帯域光を主に発光する。第１発光部１１２は、第１狭帯域光を主に発光するＬＥＤであってもよい。また、第１発光部１１２は、第１狭帯域光を主に透過するフィルタを有してもよい。

第２発光部１１４は、第１波長領域内の一部の帯域の光であって、第１狭帯域光と異なる帯域の光である第２狭帯域光を主に発光する。第２発光部１１４は、第２狭帯域光を主に発光するＬＥＤであってもよい。また、第２発光部１１４は、第２狭帯域光を主に透過するフィルタを有してもよい。

第３発光部１１６は、第２波長領域内の一部の帯域の光である第３狭帯域光を主に発光する。第３発光部１１６は、第３狭帯域光を主に発光するＬＥＤであってもよい。また、第３発光部１１６は、第３狭帯域光を主に透過するフィルタを有してもよい。

第４発光部１１８は、第２波長領域内の一部の帯域の光であって、第３狭帯域光と異なる帯域の光である第４狭帯域光を主に発光する。第４発光部１１８は、第４狭帯域光を主に発光するＬＥＤであってもよい。また、第４発光部１１８は、第４狭帯域光を主に透過するフィルタを有してもよい。

第５発光部１２０は、第３波長領域内の一部の帯域の光である第５狭帯域光を主に発光する。第５発光部１２０は、第５狭帯域光を主に発光するＬＥＤであってもよい。また、第５発光部１２０は、第５狭帯域光を主に透過するフィルタを有してもよい。

第６発光部１２２は、第３波長領域内の一部の帯域の光であって、第５狭帯域光と異なる帯域の光である第６狭帯域光を主に発光する。第６発光部１２２は、第６狭帯域光を主に発光するＬＥＤであってもよい。また、第６発光部１２２は、第６狭帯域光を主に透過するフィルタを有してもよい。

ここで、撮像装置１００においては、複数の発光部の光強度および配光分布がそれぞれ均一となるように、複数の発光部を配置することが好ましい。特に、複数の発光部を波長領域毎にグループ化して、複数のグループの光強度および配光分布がそれぞれ均一となるように、複数の発光部を配置することが好ましい。

発光制御部１２４は、第１発光部１１２と第２発光部１１４との発光周期または発光位相を異ならせて、第１発光部１１２および第２発光部１１４を周期的に発光させる。また、発光制御部１２４は、第３発光部１１６の発光周期または発光位相を第１発光部１１２と一致させ、第４発光部１１８の発光周期または発光位相を第２発光部１１４と一致させて、第３発光部１１６および第４発光部１１８を周期的に発光させる。また、発光制御部１２４は、第５発光部１２０の発光周期または発光位相を第１発光部１１２および第３発光部１１６と一致させ、第６発光部１２２の発光周期または発光位相を第２発光部１１４および第４発光部１１８と一致させて、第５発光部１２０および第６発光部１２２を周期的に発光させる。

撮像制御部１３８は、第１発光部１１２および第２発光部１１４の一方が発光した場合に第１受光部１３２が受光した光の像である狭帯域画像と、第１発光部１１２および第２発光部１１４の双方が発光した場合に第１受光部が受光した光の像である広帯域画像とを連続して撮像する。撮像制御部１３８は、第１発光部１１２および第２発光部１１４の一方並びに第３発光部１１６および第４発光部１１８の一方が発光した場合に第１受光部１３２および第２受光部１３４が受光した光の像である狭帯域画像と、第１発光部１１２から第４発光部１１８が発光した場合に第１受光部１３２および第２受光部１３４が受光した光の像である広帯域画像とを連続して撮像してもよい。また、撮像制御部１３８は、第１発光部１１２および第２発光部１１４の一方、第３発光部１１６および第４発光部１１８の一方、並びに第５発光部１２０および第６発光部１２２の一方が発光した場合に第１受光部１３２から第３受光部１３６が受光した光の像である狭帯域画像と、第１発光部１１２から第６発光部１２２が発光した場合に第１受光部１３２から第３受光部１３６が受光した光の像である広帯域画像とを連続して撮像してもよい。撮像制御部１３８は、発光制御部１２４の制御による複数の発光部の発光タイミングに合わせて、広帯域画像および狭帯域画像を撮像してもよい。

動き検出部１４２は、撮像部１３０と被写体との相対的な動きを検出する。動き検出部１４２は、ジャイロセンサーなどにより、撮像部１３０と被写体との相対的な動きを検出してもよい。動き検出部１４２は、複数の広帯域画像から、撮像部１３０と被写体との相対的な動きを検出してもよい。この場合、動き検出部１４２は、複数の広帯域画像に含まれている血管、はさみ、病変、切り口などのランドマークに基づいて、撮像部１３０と被写体との相対的な動きを検出してもよい。

動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、広帯域画像が表示されるタイミングと、広帯域補間画像が表示されるタイミングとの間における被写体の第１動きベクトルを算出する。また、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、狭帯域画像が表示されるタイミングと、広帯域補間画像が表示されるタイミングとの間における被写体の第２動きベクトルを算出する。

また、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、狭帯域画像が表示されるタイミングと、狭帯域補間画像が表示されるタイミングとの間における被写体の第３動きベクトルを算出する。また、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、広帯域画像が表示されるタイミングと、狭帯域補間画像が表示されるタイミングとの間における被写体の第４動きベクトルを算出する。

広帯域補間画像生成部１４６は、広帯域画像および狭帯域画像に基づいて、複数の広帯域画像を補間する広帯域補間画像を生成する。具体的には、広帯域補間画像生成部１４６は、複数の広帯域画像をフレーム補間する広帯域補間画像を生成する。広帯域補間画像生成部１４６は、広帯域画像の色度情報および狭帯域画像の明度情報に基づいて、広帯域補間画像を生成してもよい。

また、広帯域補間画像生成部１４６は、動き検出部１４２が検出した動き情報にさらに基づいて、広帯域補間画像を生成してもよい。また、広帯域補間画像生成部１４６は、動きベクトル算出部１４４が算出した第１動きベクトルに基づいて、広帯域画像に含まれる画素の色度情報から広帯域補間画像の画素の色度情報を生成してもよい。また、広帯域補間画像生成部１４６は、動きベクトル算出部１４４が算出した第２動きベクトルに基づいて、狭帯域画像に含まれる画素の明度情報から広帯域補間画像の画素の明度情報を生成してもよい。

狭帯域補間画像生成部１４８は、広帯域画像および狭帯域画像に基づいて、複数の狭帯域画像を補間する狭帯域補間画像を生成する。具体的には、狭帯域補間画像生成部１４８は、複数の狭帯域画像をフレーム補間する狭帯域補間画像を生成する。狭帯域補間画像生成部１４８は、広帯域画像の明度情報および狭帯域画像の色度情報に基づいて、狭帯域補間画像を生成してもよい。

また、狭帯域補間画像生成部１４８は、動き検出部１４２が検出した動き情報にさらに基づいて、狭帯域補間画像を生成してもよい。また、狭帯域補間画像生成部１４８は、動きベクトル算出部１４４が算出した第３動きベクトルに基づいて、狭帯域画像に含まれる画素の色度情報から狭帯域補間画像の画素の色度情報を生成してもよい。また、狭帯域補間画像生成部１４８は、動きベクトル算出部１４４が算出した第４動きベクトルに基づいて、広帯域画像に含まれる画素の明度情報から狭帯域補間画像の画素の明度情報を生成してもよい。

表示部１５０は、広帯域動画および狭帯域動画を表示する。広帯域動画とは、複数の広帯域画像を含む動画を示す。狭帯域動画とは、複数の狭帯域画像を含む動画を示す。広帯域動画は、複数の広帯域補間画像をさらに含んでもよい。狭帯域動画は、複数の狭帯域補間画像をさらに含んでもよい。

表示部１５０は、広帯域動画および狭帯域動画を同時に表示してもよい。表示部１５０は、広帯域動画および狭帯域動画を同期させて同時に表示してもよい。表示部１５０は、広帯域動画および狭帯域動画を並べて表示してもよい。また、表示部１５０は、広帯域動画および狭帯域動画を重畳して表示してもよい。

図２は、発光部１１０が発光する光のスペクトルの一例を示す。スペクトル２０１は、第１発光部１１２が発する光のスペクトルを示す。たとえば、第１発光部１１２は、４００ｎｍ〜４９０ｎｍの波長領域を主に有する第１波長領域の狭帯域光であって、４００ｎｍ〜４５０ｎｍの波長領域を主に有する狭帯域光を発光する。

スペクトル２０２は、第２発光部１１４が発する光のスペクトルを示す。たとえば、第２発光部１１４は、４００ｎｍ〜４９０ｎｍの波長領域を主に有する第１波長領域の狭帯域光であって、４５０ｎｍ〜４９０ｎｍの波長領域を主に有する狭帯域光を発光する。

スペクトル２０３は、第３発光部１１６が発する光のスペクトルを示す。たとえば、第３発光部１１６は、４９０ｎｍ〜６００ｎｍの波長領域を主に有する第２波長領域の狭帯域光であって、４９０ｎｍ〜５５０ｎｍの波長領域を主に有する狭帯域光を発光する。

スペクトル２０４は、第４発光部１１８が発する光のスペクトルを示す。たとえば、第４発光部１１８は、４９０ｎｍ〜６００ｎｍの波長領域を主に有する第２波長領域の狭帯域光であって、５５０ｎｍ〜６００ｎｍの波長領域を主に有する狭帯域光を発光する。

スペクトル２０５は、第５発光部１２０が発する光のスペクトルを示す。たとえば、第５発光部１２０は、６００ｎｍ〜７５０ｎｍの波長領域を主に有する第３波長領域の狭帯域光であって、６００ｎｍ〜６７５ｎｍの波長領域を主に有する狭帯域光を発光する。

スペクトル２０６は、第６発光部１２２が発する光のスペクトルを示す。たとえば、第６発光部１２２は、６００ｎｍ〜７００ｎｍの波長領域を主に有する第３波長領域の狭帯域光であって、６７５ｎｍ〜７５０ｎｍの波長領域を主に有する狭帯域光を発光する。

本実施形態では、一の波長領域に対して、二つの発光部を設ける構成としたが、これに限らず、たとえば、一の波長領域に対して、三つ以上の発光部を設ける構成としてもよい。また、観察対象の光吸収特性および光反射特性に応じて、発光させる発光部の組み合わせ、発光周期、発光位相、波長領域、または光強度を変更してもよい。

図３は、撮像部１３０の受光特性の一例を示す。受光特性３０１は、第１受光部１３２の受光特性を示す。たとえば、第１受光部１３２は、４００ｎｍ〜４９０ｎｍの波長領域を主に有する第１波長領域の光を受光する。

受光特性３０２は、第２受光部１３４の受光特性を示す。たとえば、第２受光部１３４は、４９０ｎｍ〜６００ｎｍの波長領域を主に有する第２波長領域の光を受光する。

受光特性３０３は、第３受光部１３６の受光特性を示す。たとえば、第３受光部１３６は、６００ｎｍ〜７５０ｎｍの波長領域を主に有する第３波長領域の光を受光する。

図４は、発光制御部１２４および撮像制御部１３８による制御の一例を示す。発光制御部１２４は、第１発光部１１２〜第６発光部１２２の発光タイミングを制御する。本例では、発光制御部１２４は、第１発光部１１２〜第６発光部１２２の発光周期を同一にして発光位相を異ならせているが、発光周期を異ならせて発光位相を同一にしてもよく、発光周期および発光位相の両方を異ならせてもよい。つまり、発光制御部１２４は、第１発光部１１２〜第６発光部１２２から発光される光の波長領域を連続的に変化させるべく、第１発光部１１２〜第６発光部１２２の発光周期および発光位相の少なくとも一方を制御してよい。

たとえば、タイミングＴ１では、発光制御部１２４は、第１発光部１１２、第３発光部１１６、および第５発光部１２０を発光させる。これにより、たとえば、第１受光部１３２は、４００〜４５０ｎｍの光の像を受光する。また、第２受光部１３４は、４９０〜５５０ｎｍの光の像を受光する。また、第３受光部１３６は、６００〜６７５ｎｍの光の像を受光する。そして、撮像制御部１３８は、４００〜４５０ｎｍ、４９０〜５５０ｎｍ、および６００〜６７５ｎｍの波長領域の狭帯域画像４０１を撮像する。

タイミングＴ２およびＴ３では、発光制御部１２４は、第１発光部１１２〜第６発光部１２２の全てを発光させる。これにより、たとえば、第１受光部１３２は、４００〜４９０ｎｍの光の像を受光する。また、第２受光部１３４は、４９０〜６００ｎｍの光の像を受光する。また、第３受光部１３６は、６００〜７５０ｎｍの光の像を受光する。そして、撮像制御部１３８は、４００〜７５０ｎｍの波長領域の広帯域画像４０２および４０３を撮像する。

タイミングＴ４では、発光制御部１２４は、第２発光部１１４、第４発光部１１８、および第６発光部１２２を発光させる。これにより、第１受光部１３２は、４５０〜４９０ｎｍの光の像を受光する。また、第２受光部１３４は、５５０〜６００ｎｍの光の像を受光する。また、第３受光部１３６は、６７５〜７５０ｎｍの光の像を受光する。そして、撮像制御部１３８は、４５０〜４９０ｎｍ、５５０〜６００ｎｍ、および６７５〜７５０ｎｍの波長領域の狭帯域画像４０４を撮像する。

同様に、タイミングＴ５では、撮像制御部１３８は、４００〜４５０ｎｍ、４９０〜５５０ｎｍ、および６００〜６７５ｎｍの波長領域の狭帯域画像４０５を撮像する。タイミングＴ６およびＴ７では、撮像制御部１３８は、４００〜７５０ｎｍの波長領域の広帯域画像４０６および４０７を撮像する。タイミングＴ８では、撮像制御部１３８は、４５０〜４９０ｎｍ、５５０〜６００ｎｍ、および６７５〜７５０ｎｍの波長領域の狭帯域画像４０８を撮像する。

図５は、広帯域補間画像生成部１４６および狭帯域補間画像生成部１４８による処理の一例を示す。図５において、広帯域画像４０２および広帯域画像４０６は、撮像制御部１３８が撮像した広帯域画像を示す。また、狭帯域画像４０１および狭帯域画像４０５は、撮像制御部１３８が撮像した狭帯域画像を示す。

広帯域補間画像生成部１４６は、広帯域補間画像を生成する。たとえば、広帯域補間画像生成部１４６は、タイミングＴ１の広帯域画像である広帯域補間画像５０１を生成する。また、広帯域補間画像生成部１４６は、タイミングＴ５の広帯域画像である広帯域補間画像５０５を生成する。

広帯域補間画像生成部１４６は、広帯域画像の色度情報および狭帯域画像の明度情報に基づいて、広帯域補間画像を生成してもよい。たとえば、広帯域補間画像生成部１４６は、前後の広帯域画像の色度情報および狭帯域画像４０５の明度情報に基づいて、広帯域補間画像５０５を生成してもよい。広帯域補間画像生成部１４６は、狭帯域画像４０５以外の狭帯域画像の明度情報にさらに基づいて、広帯域補間画像５０５を生成してもよい。広帯域補間画像生成部１４６は、前後の広帯域画像の明度情報にさらに基づいて、広帯域補間画像５０５を生成してもよい。

動き検出部１４２が撮像部１３０と被写体との相対的な動きを検出した場合、広帯域補間画像生成部１４６は、動き検出部１４２が検出した動き情報にさらに基づいて、広帯域補間画像を生成してもよい。動き検出部１４２は、ジャイロセンサーなどにより、撮像部１３０と被写体との相対的な動きを検出してもよい。動き検出部１４２は、複数の広帯域画像から、撮像部１３０と被写体との相対的な動きを検出してもよい。この場合、動き検出部１４２は、複数の広帯域画像に含まれている血管、はさみ、病変、切り口などのランドマークに基づいて、撮像部１３０と被写体との相対的な動きを検出してもよい。

動きベクトル算出部１４４が第１動きベクトルを算出した場合、広帯域補間画像生成部１４６は、動きベクトル算出部１４４が算出した第１動きベクトルに基づいて、広帯域画像に含まれる画素の色度情報から広帯域補間画像の画素の色度情報を生成してもよい。第１動きベクトルとは、広帯域画像が表示されるタイミングと、広帯域補間画像が表示されるタイミングとの間における被写体の動きベクトルを示す。たとえば、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、第１動きベクトルを算出する。たとえば、広帯域補間画像生成部１４６は、広帯域補間画像５０５の前または後の広帯域画像が表示されるタイミングと、広帯域補間画像５０５が表示されるタイミングとの間における被写体の動きベクトルに基づいて、広帯域補間画像５０５の前または後の広帯域画像に含まれる画素の色度情報から広帯域補間画像５０５の画素の色度情報を生成してもよい。

動きベクトル算出部１４４が第２動きベクトルを算出した場合、広帯域補間画像生成部１４６は、動きベクトル算出部１４４が算出した第２動きベクトルに基づいて、狭帯域画像に含まれる画素の明度情報から広帯域補間画像の画素の明度情報を生成してもよい。第２動きベクトルとは、狭帯域画像が表示されるタイミングと、広帯域補間画像が表示されるタイミングとの間における被写体の動きベクトルを示す。たとえば、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、第２動きベクトルを算出する。たとえば、広帯域補間画像生成部１４６は、広帯域補間画像５０５の前または後の狭帯域画像が表示されるタイミングと、広帯域補間画像５０５が表示されるタイミングとの間における被写体の動きベクトルに基づいて、広帯域補間画像５０５の前または後の狭帯域画像に含まれる画素の色度情報から広帯域補間画像５０５の画素の色度情報を生成してもよい。

狭帯域補間画像生成部１４８は、狭帯域補間画像を生成する。たとえば、狭帯域補間画像生成部１４８は、タイミングＴ２の狭帯域画像である狭帯域補間画像５０２を生成する。また、狭帯域補間画像生成部１４８は、タイミングＴ６の狭帯域画像である狭帯域補間画像５０６を生成する。

狭帯域補間画像生成部１４８は、広帯域画像の明度情報および狭帯域画像の色度情報に基づいて、狭帯域補間画像を生成してもよい。たとえば、狭帯域補間画像生成部１４８は、前後の狭帯域画像の色度情報および広帯域画像４０２の明度情報に基づいて、狭帯域補間画像５０２を生成してもよい。狭帯域補間画像生成部１４８は、広帯域画像４０２以外の広帯域画像の明度情報にさらに基づいて、狭帯域補間画像５０２を生成してもよい。狭帯域補間画像生成部１４８は、前後の狭帯域画像の明度情報にさらに基づいて、狭帯域補間画像５０２を生成してもよい。動き検出部１４２が撮像部１３０と被写体との相対的な動きを検出した場合、狭帯域補間画像生成部１４８は、動き検出部１４２が検出した動き情報にさらに基づいて、狭帯域補間画像を生成してもよい。

動きベクトル算出部１４４が第３動きベクトルを算出した場合、狭帯域補間画像生成部１４８は、動きベクトル算出部１４４が算出した第３動きベクトルに基づいて、狭帯域画像に含まれる画素の色度情報から狭帯域補間画像の画素の色度情報を生成してもよい。第３動きベクトルとは、狭帯域画像が表示されるタイミングと、狭帯域補間画像が表示されるタイミングとの間における被写体の動きベクトルを示す。たとえば、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、第３動きベクトルを算出する。たとえば、狭帯域補間画像生成部１４８は、狭帯域補間画像５０２の前または後ろの狭帯域画像が表示されるタイミングと、狭帯域補間画像５０２が表示されるタイミングとの間における被写体の動きベクトルに基づいて、狭帯域補間画像５０２の前または後ろの狭帯域画像に含まれる画素の色度情報から狭帯域補間画像５０２の画素の色度情報を生成してもよい。

動きベクトル算出部１４４が第４動きベクトルを算出した場合、狭帯域補間画像生成部１４８は、動きベクトル算出部１４４が算出した第４動きベクトルに基づいて、広帯域画像に含まれる画素の明度情報から狭帯域補間画像の画素の明度情報を生成してもよい。第４動きベクトルとは、広帯域画像が表示されるタイミングと、狭帯域補間画像が表示されるタイミングとの間における被写体の動きベクトルを示す。たとえば、動きベクトル算出部１４４は、動き検出部１４２が検出した動き情報に基づいて、第４動きベクトルを算出する。たとえば、狭帯域補間画像生成部１４８は、狭帯域補間画像５０２の前または後ろの広帯域画像が表示されるタイミングと、狭帯域補間画像５０２が表示されるタイミングとの間における被写体の動きベクトルに基づいて、狭帯域補間画像５０２の前または後ろの広帯域画像に含まれる画素の色度情報から狭帯域補間画像５０２の画素の色度情報を生成してもよい。

このように、本実施形態の撮像装置１００によれば、複数の発光部の発光タイミングをそれぞれ制御することができるので、狭帯域画像の撮像周期と広帯域画像の撮像周期とをそれぞれ独立して制御することができる。また、狭帯域補間画像および広帯域補間画像を生成することができるので、同じタイミングの狭帯域画像と広帯域画像とを得ることができる。

図６は、表示部１５０による表示処理の一例を示す。画面６００には、動画６１０および動画６２０が表示されている。動画６１０は、撮像制御部１３８が撮像した狭帯域画像および狭帯域補間画像生成部１４８が生成した狭帯域補間画像を含む。

動画６２０は、撮像制御部１３８が撮像した広帯域画像および広帯域補間画像生成部１４６が生成した広帯域補間画像を含む。このように、表示部１５０は、広帯域動画および狭帯域動画を並べて表示してもよい。表示部１５０は、広帯域動画および狭帯域動画を同期させて表示してもよい。

表示部１５０は、第１受光部１３２〜第３受光部１３６のうちの一部の受光部によって受光された狭帯域画像を含む狭帯域動画を表示してもよい。例えば、表示部１５０は、第１受光部１３２によって受光された狭帯域画像を含む狭帯域動画と、第２受光部１３４によって受光された狭帯域画像を含む狭帯域動画と、第３受光部１３６によって受光された狭帯域画像を含む狭帯域動画とのいずれかを選択して表示してもよい。

図７は、表示部１５０による表示処理の他の一例を示す。画面７００には、動画７１０が表示されている。動画７１０は、撮像制御部１３８が撮像した狭帯域画像および狭帯域補間画像生成部１４８が生成した狭帯域補間画像を含む狭帯域動画と、撮像制御部１３８が撮像した広帯域画像および広帯域補間画像生成部１４６が生成した広帯域補間画像を含む広帯域動画との合成動画を示す。このように、表示部１５０は、広帯域動画および狭帯域動画を重畳して表示してもよい。

表示部１５０は、第１受光部１３２〜第３受光部１３６のうちの一部の受光部によって受光された狭帯域画像を含む狭帯域動画と、広帯域動画とを重畳した合成動画を表示してもよい。例えば、表示部１５０は、第１受光部１３２によって受光された狭帯域画像を含む狭帯域動画と、第２受光部１３４によって受光された狭帯域画像を含む狭帯域動画と、第３受光部１３６によって受光された狭帯域画像を含む狭帯域動画とのいずれかを、広帯域動画に重畳して表示してもよい。

図８は、撮像装置１００のハードウェア構成の一例を示す。撮像装置１００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、Ｉ／Ｏコントローラ１５８４によりホスト・コントローラ１５８２に接続される通信Ｉ／Ｆ１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、Ｉ／Ｏコントローラ１５８４に接続されるＲＯＭ１５１０、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、ＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

Ｉ／Ｏコントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信Ｉ／Ｆ１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信Ｉ／Ｆ１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。

Ｉ／Ｏコントローラ１５８４には、ＲＯＭ１５１０と、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００が起動時に実行するブート・プログラム、あるいは撮像装置１００のハードウェアに依存するプログラム等を格納する。ＦＤドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。Ｉ／Ｏチップ１５７０は、ＦＤドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図７に関連して説明した撮像装置１００が備える各機能部として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置１００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本実施形態に係る撮像装置１００のブロック構成の一例を示す。発光部１１０が発光する光のスペクトルの一例を示す。撮像部１３０の受光特性の一例を示す。発光制御部１２４および撮像制御部１３８による制御の一例を示す。広帯域補間画像生成部１４６および狭帯域補間画像生成部１４８による処理の一例を示す。表示部１５０による表示処理の一例を示す。表示部１５０による表示処理の他の一例を示す。撮像装置１００のハードウェア構成の一例を示す。

符号の説明

１００撮像装置
１１０発光部
１１２第１発光部
１１４第２発光部
１１６第３発光部
１１８第４発光部
１２０第５発光部
１２２第６発光部
１２４発光制御部
１３０撮像部
１３２第１受光部
１３４第２受光部
１３６第３受光部
１３８撮像制御部
１４２動き検出部
１４４動きベクトル算出部
１４６広帯域補間画像生成部
１４８狭帯域補間画像生成部
１５０表示部
２０１スペクトル
２０２スペクトル
２０３スペクトル
２０４スペクトル
２０５スペクトル
２０６スペクトル
３０１受光特性
３０２受光特性
３０３受光特性
４０１狭帯域画像
４０２広帯域画像
４０３広帯域画像
４０４狭帯域画像
４０５狭帯域画像
４０６広帯域画像
４０７広帯域画像
４０８狭帯域画像
５０１広帯域補間画像
５０２狭帯域補間画像
５０５広帯域補間画像
５０６狭帯域補間画像
６００画面
６１０動画
６２０動画
７００画面
７１０動画
１５０５ＣＰＵ
１５１０ＲＯＭ
１５２０ＲＡＭ
１５３０通信Ｉ／Ｆ
１５４０ハードディスクドライブ
１５５０ＦＤドライブ
１５６０ＣＤ−ＲＯＭドライブ
１５７０Ｉ／Ｏチップ
１５７５グラフィック・コントローラ
１５８０表示デバイス
１５８２ホスト・コントローラ
１５８４Ｉ／Ｏコントローラ
１５９０フレキシブルディスク
１５９５ＣＤ−ＲＯＭ
１５９８ネットワーク通信装置

Claims

第１波長領域の光を受光可能な第１受光部と、
前記第１波長領域内の一部の帯域の光である第１狭帯域光を発光する第１発光部と、
前記第１波長領域内の一部の帯域の光であって、前記第１狭帯域光と異なる帯域の光である第２狭帯域光を発光する第２発光部と、
前記第１発光部と前記第２発光部との発光周期または発光位相を異ならせて、前記第１発光部および前記第２発光部を周期的に発光させる発光制御部と、
前記第１発光部および前記第２発光部の一方が発光した場合に前記第１受光部が受光した光の像である狭帯域画像と、前記第１発光部および前記第２発光部の双方が発光した場合に前記第１受光部が受光した光の像である広帯域画像とを連続して撮像する撮像制御部と
を備える撮像装置。
前記第１波長領域と異なる第２波長領域の光を受光可能な第２受光部と、
前記第２波長領域内の一部の帯域の光である第３狭帯域光を発光する第３発光部と、
前記第２波長領域内の一部の帯域の光であって、前記第３狭帯域光と異なる帯域の光である第４狭帯域光を発光する第４発光部と
をさらに備え、
前記発光制御部は、前記第３発光部の発光周期または発光位相を前記第１発光部と一致させ、前記第４発光部の発光周期または発光位相を前記第２発光部と一致させて、前記第３発光部および前記第４発光部を周期的に発光させ、
前記撮像制御部は、前記第１発光部および前記第２発光部の一方並びに前記第３発光部および前記第４発光部の一方が発光した場合に前記第１受光部および前記第２受光部が受光した光の像である前記狭帯域画像と、前記第１発光部から前記第４発光部が発光した場合に前記第１受光部および前記第２受光部が受光した光の像である前記広帯域画像とを連続して撮像する請求項１に記載の撮像装置。
前記第１波長領域および前記第２波長領域と異なる第３波長領域の光を受光可能な第３受光部と、
前記第３波長領域内の一部の帯域の光である第５狭帯域光を発光する第５発光部と、
前記第３波長領域内の一部の帯域の光であって、前記第５狭帯域光と異なる帯域の光である第６狭帯域光を発光する第６発光部と
をさらに備え、
前記発光制御部は、前記第５発光部の発光周期または発光位相を前記第１発光部および前記第３発光部と一致させ、前記第６発光部の発光周期または発光位相を前記第２発光部および前記第４発光部と一致させて、前記第５発光部および前記第６発光部を周期的に発光させ、
前記撮像制御部は、前記第１発光部および前記第２発光部の一方、前記第３発光部および前記第４発光部の一方、並びに前記第５発光部および前記第６発光部の一方が発光した場合に前記第１受光部から前記第３受光部が受光した光の像である前記狭帯域画像と、前記第１発光部から前記第６発光部が発光した場合に前記第１受光部から前記第３受光部が受光した光の像である前記広帯域画像とを連続して撮像する請求項２に記載の撮像装置。
前記広帯域画像および前記狭帯域画像に基づいて、複数の前記広帯域画像を補間する広帯域補間画像を生成する広帯域補間画像生成部をさらに備える請求項３に記載の撮像装置。
前記広帯域補間画像生成部は、前記広帯域画像の色度情報および前記狭帯域画像の明度情報に基づいて、前記広帯域補間画像を生成する請求項４に記載の撮像装置。
前記広帯域画像および前記狭帯域画像に基づいて、複数の前記狭帯域画像を補間する狭帯域補間画像を生成する狭帯域補間画像生成部
をさらに備える請求項３に記載の撮像装置。
前記狭帯域補間画像生成部は、前記広帯域画像の明度情報および前記狭帯域画像の色度情報に基づいて、前記狭帯域補間画像を生成する請求項６に記載の撮像装置。
第１波長領域の光を受光する第１受光部と、前記第１波長領域内の一部の帯域の光である第１狭帯域光を発光する第１発光部と、前記第１波長領域内の一部の帯域の光であって、前記第１狭帯域光と異なる帯域の光である第２狭帯域光を発光する第２発光部と、を備える撮像装置による撮像方法であって、
前記第１発光部と前記第２発光部との発光周期または発光位相を異ならせて、前記第１発光部および前記第２発光部を周期的に発光させる発光制御段階と、
前記第１発光部および前記第２発光部の一方が発光した場合に前記第１受光部が受光した光の像である狭帯域画像と、前記第１発光部および前記第２発光部の双方が発光した場合に前記第１受光部が受光した光の像である広帯域画像とを連続して撮像する撮像制御段階と
を備える撮像方法。
第１波長領域の光を受光する第１受光部と、前記第１波長領域内の一部の帯域の光である第１狭帯域光を発光する第１発光部と、前記第１波長領域内の一部の帯域の光であって、前記第１狭帯域光と異なる帯域の光である第２狭帯域光を発光する第２発光部とを備える撮像装置用のプログラムであって、コンピュータを、
前記第１発光部と前記第２発光部との発光周期または発光位相を異ならせて、前記第１発光部および前記第２発光部を周期的に発光させる発光制御部、
前記第１発光部および前記第２発光部の一方が発光した場合に前記第１受光部が受光した光の像である狭帯域画像と、前記第１発光部および前記第２発光部の双方が発光した場合に前記第１受光部が受光した光の像である広帯域画像とを連続して撮像する撮像制御部
として機能させるプログラム。