JP2019045249A - 計測装置および計測装置の作動方法 - Google Patents

Abstract

【課題】ユーザーの手間を減らすことができ、かつ計測信頼度が高い画像を取得することができる計測装置および計測装置の作動方法を提供する。
【解決手段】信頼度判定部は、第１の視差画像上の点に基づいて計測信頼度を判定する。撮像条件判定部は、前記信頼度判定部によって前記計測信頼度が低いと判定された後、撮像部の撮像条件が変化したか否かを判定する。前記信頼度判定部によって前記計測信頼度が低いと判定された後、前記撮像部は、計測対象の物体を撮像し、第２の視差画像を生成する。前記撮像条件判定部によって前記撮像条件が変化したと判定された後、前記信頼度判定部は、前記第２の視差画像上の点に基づいて前記計測信頼度を判定する。
【選択図】図５

Description

本発明は、計測装置および計測装置の作動方法に関する。

ボイラー、タービン、エンジン、およびパイプ等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な構造物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような光学アダプターとして、視差の異なる２個の光学系が組み込まれたステレオ光学系アダプターが存在する。このステレオ光学アダプターを用いることで、内視鏡装置において３次元計測を実現することができる。３次元計測用内視鏡装置には、撮影された画像上で指定された計測点に基づいて長さおよび面積などの計測を行う機能が備わっている。

３次元計測用内視鏡装置が被写体の傷および欠陥の長さおよび面積を正確かつ精密に計測することが求められている。しかしながら、正確かつ精密な計測のためには、被写体と内視鏡との位置関係、照明の明るさ、被写体の形状、および被写体の性状等の様々な条件を適切に設定しなければならない。被写体と内視鏡との位置関係は、物体距離および撮像角度等である。これらの条件を適切に設定することは、計測機能を使うことに慣れていない、熟練度の低いユーザーにとって非常に困難である。熟練度の低いユーザーに対しても使い勝手の良い計測機能を実現するためには、計測に用いる画像を取得する際にコンピューター側が何らかの支援をすることで、計測に適した画像を取得することが重要である。

例えば、特許文献１では、互いに視差の異なる複数の画像が取得される。複数の画像から仮選択された第１の画像においてユーザーにより指定点が受け付けられる。各画像において、第１の画像上で指定された指定点に対応する対応点が探索される。第１の画像とその他の画像とで構成された画像ペアにおける誤差が画像ペア毎に算出される。さらに、第１の画像を除く２つの画像で構成された画像ペアに対しても同様に誤差が算出される。これにより、誤差が小さい、すなわち計測信頼度が高い画像ペアを使った計測をユーザーに提供することができる。

特許第５７２８３９９号公報

しかしながら、特許文献１に開示された発明では、ユーザーにより指定点が指定される前に、互いに視差の異なる複数の画像が取得される。そのため、事前に取得された複数の画像の全ての計測信頼度が低い場合、全ての画像を撮り直す必要がある。これはユーザーの手間になるため、計測の使い勝手が悪くなるという問題があった。

本発明は、ユーザーの手間を減らすことができ、かつ計測信頼度が高い画像を取得することができる計測装置および計測装置の作動方法を提供することを目的とする。

本発明は、計測対象の物体を撮像し、互いに視差を有する２つの画像を含む視差画像を生成する撮像部と、前記物体が第１のタイミングで撮像されたときに生成された第１の視差画像に含まれる前記２つの画像の少なくとも一方を表示部に表示させる表示制御部と、前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記表示部に表示された画像上に指定点を設定する指定点設定部と、前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記指定点が設定された画像と異なる画像において、前記指定点に対応する対応点を検出する点検出部と、前記指定点および前記対応点に基づいて計測信頼度を判定する信頼度判定部と、前記信頼度判定部によって前記計測信頼度が高いと判定された場合に、前記視差画像を使用して前記物体の計測を行う計測部と、を有する計測装置において、前記信頼度判定部によって前記計測信頼度が低いと判定された後、前記撮像部の撮像条件が前記第１のタイミングにおける前記撮像条件から変化したか否かを判定する撮像条件判定部をさらに有し、前記信頼度判定部によって前記計測信頼度が低いと判定された後、前記撮像部は、前記物体を第２のタイミングで撮像し、前記２つの画像を含む第２の視差画像を生成し、前記撮像条件判定部によって前記撮像条件が変化したと判定された後、前記点検出部は、前記第１の視差画像に含まれる前記２つの画像のうちの１つに設定された前記指定点に類似する類似点を、前記第２の視差画像に含まれる前記２つの画像のうちの１つにおいて検出し、前記点検出部は、前記第２の視差画像に含まれる前記２つの画像のうちの１つであって、前記類似点が検出された画像と異なる画像において、前記類似点に対応する類似対応点を検出し、前記信頼度判定部は、前記類似点および前記類似対応点に基づいて前記計測信頼度を判定することを特徴とする計測装置である。

本発明の計測装置において、前記第２の視差画像が生成された後、前記撮像条件判定部は、前記撮像部の撮像条件が前記第１のタイミングにおける前記撮像条件から変化したか否かを判定することを特徴とする。

本発明の計測装置において、前記信頼度判定部によって前記計測信頼度が低いと判定され、かつ前記撮像条件判定部によって前記撮像条件が変化したと判定された後、前記撮像部は、前記物体を前記第２のタイミングで撮像し、前記第２の視差画像を生成することを特徴とする。

本発明の計測装置は、前記信頼度判定部によって前記計測信頼度が低いと判定された後、かつ前記第２の視差画像が取得される前に、前記計測信頼度を高めるための情報をユーザーに通知する通知制御部をさらに有することを特徴とする。

本発明の計測装置において、前記通知制御部は、前記撮像部の位置および姿勢の少なくとも１つを変更することを前記ユーザーに促す前記情報を前記ユーザーに通知することを特徴とする。

本発明の計測装置において、前記通知制御部は、前記物体からの光を前記撮像部に入射させる光学系と前記物体との間の物体距離が変化するように、前記撮像部の前記位置および前記姿勢の少なくとも１つを変更することを前記ユーザーに促す前記情報を前記ユーザーに通知することを特徴とする。

本発明の計測装置は、前記物体距離を計測する物体距離計測部をさらに有し、前記通知制御部によって前記情報が前記ユーザーに通知され、かつ前記第２の視差画像が取得された後、前記撮像条件判定部は、前記物体距離計測部によって計測された前記物体距離が変化したか否かを判定することにより、前記撮像条件が変化したか否かを判定することを特徴とする。

本発明の計測装置において、前記通知制御部は、前記撮像部の前記撮像条件を前記第１のタイミングにおける前記撮像条件と異なる条件に変更することを前記ユーザーに促す前記情報を前記ユーザーに通知することを特徴とする。

本発明の計測装置は、前記信頼度判定部によって前記計測信頼度が低いと判定された後、かつ前記第２の視差画像が取得される前に、前記計測信頼度が高まるように前記撮像部の前記撮像条件を変更する撮像条件制御部をさらに有することを特徴とする。

本発明の計測装置において、前記撮像条件は、前記撮像部の位置および姿勢の少なくとも１つであることを特徴とする。

本発明の計測装置において、前記撮像条件は、前記物体からの光を前記撮像部に入射させる光学系と前記物体との間の物体距離であることを特徴とする。

本発明の計測装置において、前記撮像条件制御部は、前記第２のタイミングにおける前記撮像条件を前記第１のタイミングにおける前記撮像条件と異なる条件に変更することを特徴とする。

本発明は、撮像部によって計測対象の物体を第１のタイミングで撮像し、互いに視差を有する２つの画像を含む第１の視差画像を生成する第１の撮像ステップと、前記第１の視差画像に含まれる前記２つの画像の少なくとも一方を表示部に表示させる表示ステップと、前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記表示部に表示された画像上に指定点を設定する指定点設定ステップと、前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記指定点が設定された画像と異なる画像において、前記指定点に対応する対応点を検出する第１の点検出ステップと、前記指定点および前記対応点に基づいて計測信頼度を判定する第１の信頼度判定ステップと、前記第１の信頼度判定ステップにおいて前記計測信頼度が高いと判定された場合に、前記第１の視差画像を使用して前記物体の計測を行う第１の計測ステップと、前記第１の信頼度判定ステップにおいて前記計測信頼度が低いと判定された後、前記撮像部の撮像条件が前記第１のタイミングにおける前記撮像条件から変化したか否かを判定する撮像条件判定ステップと、前記第１の信頼度判定ステップにおいて前記計測信頼度が低いと判定された後、前記撮像部によって前記物体を第２のタイミングで撮像し、前記２つの画像を含む第２の視差画像を生成する第２の撮像ステップと、前記撮像条件判定ステップにおいて前記撮像条件が変化したと判定された後、前記第１の視差画像に含まれる前記２つの画像のうちの１つに設定された前記指定点に類似する類似点を、前記第２の視差画像に含まれる前記２つの画像のうちの１つにおいて検出する第２の点検出ステップと、前記第２の視差画像に含まれる前記２つの画像のうちの１つであって、前記類似点が検出された画像と異なる画像において、前記類似点に対応する類似対応点を検出する第３の点検出ステップと、前記類似点および前記類似対応点に基づいて前記計測信頼度を判定する第２の信頼度判定ステップと、前記第２の信頼度判定ステップにおいて前記計測信頼度が高いと判定された場合に、前記第２の視差画像を使用して前記物体の計測を行う第２の計測ステップと、を有することを特徴とする計測装置の作動方法である。

本発明によれば、計測装置および計測装置の作動方法は、ユーザーの手間を減らすことができ、かつ計測信頼度が高い画像を取得することができる。

本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の第１の実施形態による内視鏡装置における挿入部の先端およびステレオ光学アダプターの構成を示す斜視図である。 本発明の第１の実施形態による内視鏡装置における挿入部の先端およびステレオ光学アダプターの構成を示す断面図である。 本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。 本発明の第１の実施形態のステレオ計測による計測指定点の３次元座標の算出方法を説明するための参考図である。 本発明の第１の実施形態における計測のための処理の手順を示すフローチャートである。 本発明の第１の実施形態における表示部の表示画面を示す図である。 本発明の第１の実施形態において取得された画像を示す図である。 本発明の第１の実施形態において取得された画像を示す図である。 本発明の第１の実施形態の第３の変形例における計測のための処理の手順を示すフローチャートである。 本発明の第１の実施形態の第４の変形例による内視鏡装置における挿入部の先端およびステレオ光学アダプターの構成を示す断面図である。 本発明の第１の実施形態の第４の変形例における計測のための処理の手順を示すフローチャートである。 本発明の第２の実施形態によるＣＰＵの機能構成を示すブロック図である。 本発明の第２の実施形態における計測のための処理の手順を示すフローチャートである。 本発明の第２の実施形態におけるユーザーに対する情報通知処理の手順を示すフローチャートである。 本発明の第２の実施形態におけるユーザーに対する情報通知処理の手順を示すフローチャートである。 本発明の第２の実施形態における表示部の表示画面を示す図である。 本発明の第２の実施形態における表示部の表示画面を示す図である。 本発明の第２の実施形態における表示部の表示画面を示す図である。 本発明の第２の実施形態における表示部の表示画面を示す図である。 本発明の第３の実施形態によるＣＰＵの機能構成を示すブロック図である。 本発明の第３の実施形態における計測のための処理の手順を示すフローチャートである。 本発明の第３の実施形態における撮像条件変更処理の手順を示すフローチャートである。

以下、図面を参照し、本発明の実施形態を説明する。以下では、計測装置が内視鏡装置である例を説明する。計測装置は、計測機能を有する装置でありさえすればよく、内視鏡装置に限らない。

（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１（計測装置）の外観を示す。内視鏡装置１は、被写体を撮像し、画像を使用して被写体の幾何学的特徴を計測する。ユーザーは、種々の被写体の観察と計測とを行うために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。以下では、計測の一例として、ステレオ計測を行う場合について説明する。

図１に示すように、内視鏡装置１は、挿入部２と、コントロールユニット３と、操作部４と、表示部５とを有する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、計測部分を撮像し、かつ撮像信号をコントロールユニット３に出力する。挿入部２の先端２０には、ステレオ光学アダプター３０（図３）が装着される。コントロールユニット３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受ける。表示部５は、表示画面を有し、かつ挿入部２で撮像された被写体の画像および操作メニュー等を表示画面に表示する。

操作部４は、ユーザーインタフェースである。例えば、ユーザーインタフェースは、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。

図２に示すように、コントロールユニット３は、内視鏡ユニット８と、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９と、制御ユニット１０とを有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、図示していない湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサーである。撮像素子２８は、ステレオ光学アダプター３０を介して結像された被写体像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が行われた撮像信号をＮＴＳＣ信号等の映像信号に変換する。

制御ユニット１０は、映像信号処理回路１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４と、カードインタフェース１５と、外部機器インタフェース１６と、制御インタフェース１７と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８ａとを有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、計測実行時には、計測精度を向上させるための処理も行う。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａによって生成されるグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、カーソルの画像、指定点の画像、および計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。

また、映像信号処理回路１２は、ＣＣＵ９からの映像信号に基づく画像データをＣＰＵ１８ａに出力する。計測時にはステレオ光学アダプター３０が挿入部２の先端２０に装着されるため、映像信号処理回路１２からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。複数の被写体像は、互いに異なる視差を有する。本発明の実施形態では、左右の光学系によって結像される被写体像を同時に取得する方法を使用する例を説明する。被写体像を取得する方法はこれに限らない。例えば、互いに視差の異なる複数の被写体像を時分割に取得する方法が使用されてもよい。例えば、ステレオ光学系の左右の光路のいずれか１つがシャッターで塞がれ、かつもう１つの光路を通った光が形成する被写体像が撮像される。シャッターで塞がれる位置を変えることにより、取得される被写体像が変更される。

ＲＯＭ１３は、ＣＰＵ１８ａが内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８ａが内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８ａは、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御ユニット１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピューター４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、パーソナルコンピューター４１への情報の送信とパーソナルコンピューター４１からの情報の受信とを行う。これによって、パーソナルコンピューター４１のモニタが情報を表示することができる。また、ユーザーがパーソナルコンピューター４１を介して、内視鏡装置１の制御に関する操作を行うことができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、操作部４を介してユーザーによって入力された指示をＣＰＵ１８ａに通知する。制御インタフェース１７は、光源装置および湾曲装置の制御のための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８の制御のための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８ａが実行するプログラムは、コンピューター読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピューターが読み込み、かつ実行してもよい。例えば、パーソナルコンピューター４１がプログラムを読み込んで実行してもよい。パーソナルコンピューター４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、パーソナルコンピューター４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を使用して計測を行ってもよい。

上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピューターから、伝送媒体を介して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピューターに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。

図３および図４は、挿入部２の先端２０およびステレオ光学アダプター３０の構成を示す。図３は、挿入部２の先端２０およびステレオ光学アダプター３０の外観を示す。図４は、挿入部２の先端２０およびステレオ光学アダプター３０の断面を示す。図４では、第１の光学系３１および第２の光学系３２を含む断面が示されている。

ステレオ光学アダプター３０が挿入部２の先端２０に装着されている。ステレオ光学アダプター３０は、固定リング７１の雌ねじ７２により挿入部２の先端２０の雄ねじ２３と螺合されて固定される。ステレオ光学アダプター３０の先端には、第１の光学系３１と、第２の光学系３２と、照明窓３３とが設けられている。第１の光学系３１および第２の光学系３２は、対物レンズを含む。第１の光学系３１および第２の光学系３２は、視差方向Ｄｒ１に離間している。被写体に向かって左側に第１の光学系３１が配置され、かつ右側に第２の光学系３２が配置されている。第１の光学系３１の光軸Ａｘ１および第２の光学系３２の光軸Ａｘ２は、視差方向Ｄｒ１に交差する方向Ｄｒ２に配置されている。つまり、第１の光学系３１の光軸Ａｘ１および第２の光学系３２の光軸Ａｘ２は、方向Ｄｒ２を向くように配置されている。視差方向Ｄｒ１は、第１の光学系３１の第１の光学中心（主点）と第２の光学系３２の第２の光学中心（主点）とを通る直線の方向である。方向Ｄｒ２は、視差方向Ｄｒ１に直交する。第１の光学系３１および第２の光学系３２は、挿入部２の先端２０内に設けられた撮像素子２８上に被写体の２つの像を結像する。第１の光学系３１は第１の光学像を結像し、かつ第２の光学系３２は第２の光学像を結像する。

第１の光学像および第２の光学像は、互いに視差を有する。被写体に向かって右側に第１の光学系３１が配置され、かつ左側に第２の光学系３２が配置されてもよい。

撮像素子２８は、挿入部２の先端２０に配置される。撮像素子２８は、第１の光学系３１および第２の光学系３２の結像位置に配置された撮像面２４を有する。撮像素子２８は、第１の光学系３１を介して撮像面２４に結像された第１の光学像と、第２の光学系３２を介して撮像面２４に結像された第２の光学像とから撮像信号を生成する。つまり、撮像素子２８は、第１の光学系３１を介して得られた第１の光学像に対応する第１の画像および第２の光学系３２を介して得られた第２の光学像に対応する第２の画像を生成する。第１の画像および第２の画像は、互いに視差を有する。第１の実施形態において、左側の視野に対応する画像が第１の画像と定義され、かつ右側の視野に対応する画像が第２の画像と定義される。右側の視野に対応する画像が第１の画像と定義され、かつ左側の視野に対応する画像が第２の画像と定義されてもよい。

撮像素子２８は信号線８０に接続され、撮像信号が撮像素子２８から信号線８０に出力される。挿入部２の先端２０の端面には、撮像素子２８を保護するためのカバーガラス３５が配置されている。

上記のように、内視鏡装置１は、撮像素子２８（撮像部）、ＣＣＵ９（画像取得部）、およびＣＰＵ１８ａを有する。撮像素子２８は、計測対象の物体である被写体を撮像し、かつ撮像信号を生成する。これにより、撮像素子２８は、互いに視差を有する２つの画像を含む視差画像（ステレオ画像）を生成する。視差画像は、１対の第１の画像（１回目に取得した左右画像のペア）および１対の第２の画像（２回目に取得した左右画像のペア）を含む。ＣＣＵ９は、撮像信号に基づいて映像信号（画像データ）を生成する。映像信号は、被写体の画像を含む。したがって、ＣＣＵ９は、被写体を撮像することにより生成された、その被写体の画像を取得する。ＣＣＵ９により取得された画像は映像信号処理回路１２を介してＣＰＵ１８ａに入力される。

図５は、ＣＰＵ１８ａの機能構成を示す。制御部１８０、表示制御部１８１、指定点設定部１８２、点検出部１８３、３次元座標算出部１８４、信頼度判定部１８５、撮像条件判定部１８６、および計測部１８７によってＣＰＵ１８ａの機能が構成されている。図５に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。

図５に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。図５に示す各部は、１つまたは複数のプロセッサを含むことができる。図５に示す各部は、１つまたは複数の論理回路を含むことができる。

制御部１８０は、各部が行う処理を制御する。表示制御部１８１は、ＣＣＵ９により取得された画像を表示部５に表示させる。撮像素子２８により生成された視差画像に含まれる第１の画像および第２の画像の少なくとも一方が表示部５に表示される。したがって、第１の画像および第２の画像のいずれか１つのみが表示部５に表示されてもよい。あるいは、第１の画像および第２の画像が表示部５に表示されてもよい。表示制御部１８１は、ユーザーが指定点を指定するためのカーソルを画像上に表示させる。表示制御部１８１は、ユーザーによって指定される指定点のマーク等を画像上に表示させる。

例えば、表示制御部１８１は、カーソル等のグラフィック画像信号を生成する。表示制御部１８１は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これにより、カーソル等が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、カーソル等が重畳された画像を表示する。表示制御部１８１は、ユーザーが操作部４を操作することにより入力したカーソル移動指示を検出し、かつカーソル移動指示に基づいてカーソルの位置を逐次更新する。

指定点設定部１８２は、表示部５に表示された画像においてユーザーにより指定された位置に基づいて、ＣＣＵ９により取得され、かつ表示部５に表示された画像上に１つ以上の指定点を設定する。視差画像に含まれる第１の画像および第２の画像のいずれか一方に指定点が設定される。

操作部４は、ユーザーが操作部４を操作することにより入力した指定点を受け付ける。操作部４は、ユーザーにより指定された指定点の位置（座標）を示す情報を出力する。操作部４から出力されたその情報は、制御インタフェース１７に入力される。制御インタフェース１７に入力されたその情報は、ＣＰＵ１８ａに入力される。指定点設定部１８２は、ＣＰＵ１８ａに入力されたその情報に基づいて指定点を設定する。設定された指定点の情報は、ＲＡＭ１４に保持される。指定点の位置が特定の画像に関連付けられることにより、指定点が設定される。

指定点は、ユーザーの指示により決定された画像における注目位置の座標情報である。指定点は、被写体上の計測位置を示す。また、指定点は、画像において計測信頼度を算出する位置を示す。

点検出部１８３は、視差画像に含まれる２つの画像のいずれか一方に設定された指定点に対応する、他方の画像上の対応点を探索および検出する。一般的に、この処理はマッチング処理と呼ばれる。指定点が第１の画像上に設定された場合、点検出部１８３は第２の画像上の対応点を検出する。指定点が第２の画像上に設定された場合、点検出部１８３は第１の画像上の対応点を検出する。

また、点検出部１８３は、第１の視差画像に設定された指定点に類似する類似点を、第１の視差画像と異なる第２の視差画像において探索および検出する。指定点が設定された画像と同じ視差関係を持つ画像から類似点が検出される。指定点が第１の視差画像の第１の画像に設定された場合、第２の視差画像の第１の画像において類似点が検出される。指定点が第１の視差画像の第２の画像に設定された場合、第２の視差画像の第２の画像において類似点が検出される。

また、点検出部１８３は、視差画像に含まれる２つの画像のいずれか一方から検出された類似点に対応する、他方の画像上の対応点（類似対応点）をマッチング処理により探索および検出する。類似点が第１の画像から検出された場合、点検出部１８３は第２の画像上の類似対応点を検出する。類似点が第２の画像から検出された場合、点検出部１８３は第１の画像上の類似対応点を検出する。

３次元座標算出部１８４は、ＣＣＵ９により取得された画像を使用して、指定点および類似点の各々の３次元座標（空間座標）を算出する。具体的には、３次元座標算出部１８４は、指定点の座標と対応点の座標とを使用して視差量を算出する。あるいは、３次元座標算出部１８４は、類似点の座標と類似対応点の座標とを使用して視差量を算出する。３次元座標算出部１８４は、算出された視差量と、カメラ校正情報とに基づいて、指定点または類似点の３次元座標を算出する。カメラ校正情報は、カメラパラメーターとも呼ばれる。カメラ校正情報は、工場出荷時または光学アダプターが挿入部２の先端２０に取り付けられたときに生成される。

信頼度判定部１８５は、指定点または類似点の近傍の画素情報または３次元座標算出部１８４により算出された３次元座標（マッチング相関値などの中間生成データを含む）に基づいて、指定点または類似点における計測信頼度を算出する。信頼度判定部１８５は、算出された信頼度と、予め保持された基準値（閾値）とを比較することにより、計測信頼度を判定する。

撮像条件判定部１８６は、撮像素子２８の撮像条件が変化したか否かを判定する。例えば、撮像条件は撮像素子２８の位置および姿勢の少なくとも１つである。撮像条件は、計測対象の物体からの光を撮像素子２８に入射させる光学系とその物体との間の物体距離であってもよい。計測対象の物体からの光を撮像素子２８に入射させる光学系は、ステレオ光学アダプター３０内の第１の光学系３１および第２の光学系３２である。物体距離は、光学系と、指定点に対応する物体上の点との間の距離である。例えば、撮像条件判定部１８６は、撮像素子２８が動いたか否かを判定することにより、撮像条件が変化したか否かを判定する。

計測部１８７は、視差画像を使用してステレオ計測により物体の計測を行う。つまり、計測部１８７は、物体の３次元形状の大きさを計測する。計測部１８７は、３次元座標算出部１８４を含んでもよい。

上記のように構成された内視鏡装置１の概略動作を説明する。撮像素子２８は、計測対象の物体を第１のタイミングで撮像し、互いに視差を有する２つの画像を含む第１の視差画像を生成する。２つの画像が時分割で生成される場合、第１のタイミングは第１の画像の撮像タイミングおよび第２の画像の撮像タイミングを含む。第１のタイミングは、第１の画像の撮像タイミングおよび第２の画像の撮像タイミングのうち基準となるいずれか一方の撮像タイミングであってもよい。第１のタイミングは、第１の画像の撮像タイミングおよび第２の画像の撮像タイミングの中間のタイミング等であってもよい。

表示制御部１８１は、物体が第１のタイミングで撮像されたときに生成された第１の視差画像に含まれる２つの画像の少なくとも一方を表示部５に表示させる。指定点設定部１８２は、第１の視差画像に含まれる２つの画像のうちの１つであって、表示部５に表示された画像上に指定点を設定する。点検出部１８３は、第１の視差画像に含まれる２つの画像のうちの１つであって、指定点が設定された画像と異なる画像において、指定点に対応する対応点を検出する。信頼度判定部１８５は、指定点および対応点に基づいて計測信頼度を判定する。信頼度判定部１８５によって計測信頼度が高いと判定された場合に、計測部１８７は、視差画像を使用して物体の計測を行う。

信頼度判定部１８５によって計測信頼度が低いと判定された後、撮像条件判定部１８６は、撮像素子２８の撮像条件が第１のタイミングにおける撮像条件から変化したか否かを判定する。信頼度判定部１８５によって計測信頼度が低いと判定された後、撮像素子２８は、計測対象の物体を第２のタイミングで撮像し、互いに視差を有する２つの画像を含む第２の視差画像を生成する。撮像条件判定部１８６によって撮像条件が変化したと判定された後、点検出部１８３は、第１の視差画像に含まれる２つの画像のうちの１つに設定された指定点に類似する類似点を、第２の視差画像に含まれる２つの画像のうちの１つにおいて検出する。点検出部１８３は、第２の視差画像に含まれる２つの画像のうちの１つであって、類似点が検出された画像と異なる画像において、類似点に対応する類似対応点を検出する。信頼度判定部１８５は、類似点および類似対応点に基づいて計測信頼度を判定する。

図６を参照し、ステレオ計測の原理を説明する。ステレオ計測では、被写体像を２つの光学系で捉えたときの２つの光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元座標が算出される。左の光学中心（第１の光学中心６３）と右の光学中心（第２の光学中心６４）とを結ぶ線分の中点が原点Ｏとして定義される。また、右方向が正であるｘ軸と、下方向が正であるｙ軸とが定義される。また、光軸と平行に光学系から遠ざかる方向が正であるｚ軸が定義される。

左の光学系および右の光学系を介して得られた被写体像を含む画像に対して、三角測量の原理により、計測指定点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の式（１）から式（３）で計算される。ただし、歪み補正が施された左の画像面の計測指定点６１と、歪み補正が施された右の画像面の対応点６２との２次元座標はそれぞれ、（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）である。これらの２次元座標の原点はそれぞれ、左の光学系および右の光学系の光軸と画像面との交点Ｏ_Ｌ、交点Ｏ_Ｒである。第１の光学中心６３と第２の光学中心６４との距離はＤである。焦点距離はＦである。パラメーターｔは、Ｄ／（Ｘ_Ｒ−Ｘ_Ｌ）である。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２・・・（１）
Ｙ＝−ｔ×Ｙ_Ｒ・・・（２）
Ｚ＝ｔ×Ｆ・・・（３）

上記のように画像面上での計測指定点６１と対応点６２との座標が決定された場合、パラメーターＤとパラメーターＦとを用いて計測指定点６０の３次元座標を求めることができる。いくつかの点の３次元座標を求めることによって、様々な計測機能が実現可能である。例えば、２点間の距離、２点を結ぶ線と１点の距離、複数点を結ぶ線で囲まれた領域の面積、基準面の深さ、および表面形状等が計測される。ユーザーは、様々な計測機能から所望の計測機能を選択することができる。また、第１の光学中心６３または第２の光学中心６４から被写体までの距離（物体距離）を求めることも可能である。上記のステレオ計測を行うためには、挿入部２の先端２０とステレオ光学アダプター３０とを含む光学系の特性を示す光学データが必要である。例えば、マッチング処理および光学データの詳細は特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

図７から図１０を参照し、計測の開始から計測処理の実行までの一連の流れについて説明する。図７は、計測のための処理を示す。図８は、表示部５の表示画面５１を示す。図９および図１０は、取得された画像を示す。

内視鏡検査では、ユーザーは、被写体の状況をライブ画像により確認し、かつ欠陥または傷が存在するか否かを検査する。このとき、内視鏡装置１は、観察モードで動作する。被写体に計測対象となる欠陥または傷が発見された場合には、内視鏡装置１の状態は、観察モードからスポットレンジングモードまたは計測モードに移行する。スポットレンジングモードでは、内視鏡装置１は、ライブ画像上でユーザーから指定点を受け付け、かつその指定点における測距結果をリアルタイムに画面に表示する。測距結果は、光学系から被写体上の任意の点までの奥行き、すなわち物体距離を示す。スポットレンジングモードにおける測距処理および測距結果表示の説明については省略する。

計測モードでは、内視鏡装置１は、観察モードまたはスポットレンジングモードでユーザーが行った画像取得操作に基づいて静止画を取得し、かつその静止画を使用して寸法計測を行う。画像取得操作は、フリーズともよばれる。以下では、観察モードからスポットレンジングモードへの切替のための操作が行われることを想定している。

ユーザーが操作部４を操作することにより、スポットレンジング起動操作を行う（ステップＳ１０１）。

ステップＳ１０１の後、制御部１８０は、３次元計測に必要な第１の視差画像の取得をＣＣＵ９に命令する。ＣＣＵ９が撮像素子２８を駆動することにより、撮像素子２８は被写体を撮像し、第１の視差画像を生成する。ＣＣＵ９は第１の視差画像を撮像素子２８から取得する。取得された第１の視差画像は、映像信号処理回路１２を介して表示部５およびＣＰＵ１８ａに出力される（ステップＳ１０２）。ステップＳ１０２は、第１の撮像ステップに対応する。

ステップＳ１０２の後、表示制御部１８１は、ＣＣＵ９により取得された第１の視差画像を表示部５に表示させる（ステップＳ１０３）。ステップＳ１０３において、第１の視差画像に含まれる第１の画像および第２の画像が表示部５に表示される。第１の画像および第２の画像のいずれか一方のみが表示部５に表示されてもよい。ステップＳ１０３は、表示ステップに対応する。

ステップＳ１０３の後、ユーザーは、操作部４を操作することにより、表示された画像上に仮指定点を指定する。このとき、第１の視差画像に含まれる第１の画像および第２の画像のいずれか一方において仮指定点が指定される。操作部４は、ユーザーにより指定された仮指定点を受け付ける。指定点設定部１８２は、表示された画像上に、ユーザーにより指定された仮指定点を設定する（ステップＳ１０４）。ステップＳ１０４は、指定点設定ステップに対応する。

仮指定点は、ユーザーが計測を行いたいと考えている注目領域を示す。また、仮指定点は、計測信頼度を算出するための基準位置を示す。ユーザーにより指定される指定点は、仮指定点および計測指定点を含む。以下の説明では、仮指定点は、計測処理において指定される計測指定点と区別されるが、仮指定点が計測指定点として使用されてもよい。以下では、第１の視差画像に含まれる第１の画像上に仮指定点が設定される例を記載するが、第１の視差画像に含まれる第２の画像上に仮指定点が設定されてもよい。

本明細書では、便宜上、「点」という言葉を使っているが、指定点は画面上の１ピクセルに対応する１点である必要はない。指定点は、任意の形状および大きさの領域を含んでもよい。その領域の形状は、円および矩形等であってもよい。領域の形状および大きさはユーザーにより任意に変更できてもよい。図８に示す例では、２つの仮指定点が指定されているが、２点が指定される必要はない。指定された１点が一定の領域を有し、その点だけで注目領域がカバーされてもよい。当然、２点以上が指定されてもよい。

図８は、表示部５の表示画面５１を示す。図８に示すように、第１の視差画像に含まれる第１の画像Ｇ１０１Ｌおよび第２の画像Ｇ１０１Ｒが表示される。この例では、第１の画像Ｇ１０１Ｌ上に２つの仮指定点Ｐ１０１Ｌおよび仮指定点Ｐ１０２Ｌが設定される。ユーザーの操作により各仮指定点が指定されたとき、指定点設定部１８２は、指定された各仮指定点の各位置（座標）を算出する。各仮指定点の位置情報（座標情報）は、ＲＡＭ１４に保持される。

設定された２つの仮指定点Ｐ１０１Ｌおよび仮指定点Ｐ１０２Ｌは、表示部５に表示される。表示制御部１８１は、各仮指定点を表示部５に表示させる。具体的には、表示制御部１８１は、各仮指定点のグラフィック画像信号を生成する。表示制御部１８１は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これにより、各仮指定点が第１の画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各仮指定点が重畳された第１の画像を表示する。これにより、ユーザーは、各仮指定点の位置を認識することができる。

ステップＳ１０４の後、点検出部１８３は、第１の視差画像の第２の画像において、仮指定点に対応する対応点をマッチング処理により探索および検出する（ステップＳ１０５）。マッチング処理にはテンプレートマッチングと呼ばれる処理が良く使用される。仮指定点に対する対応点を見つけることができればどのようなマッチング処理が使用されてもよい。ステップＳ１０５は、第１の点検出ステップに対応する。

図８に示す例では、第２の画像Ｇ１０１Ｒ上の２つの対応点Ｐ１０１Ｒおよび対応点Ｐ１０２Ｒが検出される。各対応点の位置情報（座標情報）は、ＲＡＭ１４に保持される。

検出された２つの対応点Ｐ１０１Ｒおよび対応点Ｐ１０２Ｒは、表示部５に表示される。表示制御部１８１は、各対応点を表示部５に表示させる。具体的には、表示制御部１８１は、各対応点のグラフィック画像信号を生成する。表示制御部１８１は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これにより、各対応点が第２の画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各対応点が重畳された第２の画像を表示する。これにより、ユーザーは、各対応点の位置を認識することができる。

ステップＳ１０５の後、３次元座標算出部１８４は、仮指定点の３次元座標を算出する。３次元座標が算出された後、信頼度判定部１８５は、計測信頼度を算出する（ステップＳ１０６）。計測信頼度の算出には、仮指定点および対応点の近傍の２次元画像の画素値と、仮指定点の３次元座標の算出の過程で得られる中間データと、仮指定点の３次元座標と、三角測量の原理で決まる空間分解能となどが利用される。

仮指定点または対応点の近傍の２次元画像の画素値を使用する場合について説明する。例えば、信頼度判定部１８５は、仮指定点近傍の画素の輝度（明るさ）および対応点近傍の画素の輝度（明るさ）に基づいて計測信頼度を算出する。あるいは、信頼度判定部１８５は、仮指定点とその周辺領域との被写体の模様の違いおよび対応点とその周辺領域との被写体の模様の違いに基づいて計測信頼度を算出する。被写体の模様の違いは、色および輝度等に基づいて検出される。

仮指定点の３次元座標の算出の過程で得られる中間データを使用する場合について説明する。例えば、信頼度判定部１８５は、マッチング相関値および評価関数の形状等に基づいて計測信頼度を算出する。

三角測量の原理で決まる空間分解能を使用する場合について説明する。例えば、信頼度判定部１８５は、基線長、焦点距離、および測距値に基づいて計測信頼度を算出する。基線長および焦点距離は、設計値により決定されている、または、カメラキャリブレーションにより事前に推定されている。測距値は、算出された３次元座標のｚ座標である。

計測信頼度の具体的な算出方法の例を説明する。例えば、信頼度判定部１８５は、各種要因から算出される信頼値に対して、式（４）に示すような重み付き線形和により最終的な計測信頼度Ｅを算出する。

式（４）は、仮指定点Ｐ１０１Ｌにおける計測信頼度Ｅを示す。式（４）におけるｅ_ｉは、各要因の信頼値を示す。式（４）におけるｗ_ｉは、各要因の重み量を示す。式（４）におけるＮは、想定される要因の数を示す。仮指定点Ｐ１０２Ｌにおける計測信頼度Ｅも、式（４）と同様の演算により算出される。信頼度判定部１８５は、仮指定点Ｐ１０１Ｌおよび仮指定点Ｐ１０２Ｌの全ての計測信頼度を合計することにより最終的な計測信頼度を算出してもよい。

計測信頼度の算出方法は、上記の方法に限らない。例えば、計測信頼度は複数種類あってもよい。計測信頼度の算出方法は、各要因の信頼値の論理演算であってもよい。または、想定される要因での信頼値の最小値を最終的な計測信頼度Ｅとして使っても良い。信頼度判定部１８５とは別の処理部が、計測信頼度を示す指標を算出し、信頼度判定部１８５がその指標に基づいて計測信頼度を判定してもよい。

ステップＳ１０６の後、信頼度判定部１８５は、算出された計測信頼度と、予め保持された閾値とを比較することにより、ステップＳ１０２で取得された第１の視差画像が計測に適切であるか否かを判定する。つまり、信頼度判定部１８５は、計測信頼度が高いか否かを判定する（ステップＳ１０７）。ステップＳ１０７は、第１の信頼度判定ステップに対応する。

例えば、算出された計測信頼度が閾値よりも大きい場合、信頼度判定部１８５は、計測信頼度が高いと判定する。算出された計測信頼度が閾値よりも小さい場合、信頼度判定部１８５は、計測信頼度が低いと判定する。

ステップＳ１０７において、計測信頼度が高いと信頼度判定部１８５が判定した場合、内視鏡装置１の状態は、視差画像に対して計測を行うための状態へと移行する。その状態で実行される処理は、計測モードの処理と同じである。操作部４は、計測モードの選択をユーザーから受け付ける（ステップＳ１０８）。

計測モードは、２点間計測、線基準計測、および面基準計測等を実行するモードである。２点間計測では、ユーザーによって指定された２つの計測指定点間の３次元距離が計測される。線基準計測では、ユーザーによって指定された２つの基準点に基づいて基準線が設定され、かつユーザーによって指定された計測指定点から基準線までの３次元距離が計測される。面基準計測では、ユーザーによって指定された３つの基準点に基づいて基準平面が設定され、かつユーザーによって指定された計測指定点から基準平面までの３次元距離（垂線の長さ）が計測される。

ステップＳ１０８の後、ユーザーは、操作部４を操作し、仮指定点として指定した座標をサブピクセル単位で調整する。これにより、ユーザーは、計測位置を示す最終的な計測指定点を決定する。操作部４は、ユーザーにより決定された計測指定点を受け付ける。指定点設定部１８２は、表示された画像上に、ユーザーにより決定された計測指定点を設定する（ステップＳ１０９）。ステップＳ１０９において、１つ以上の計測指定点が設定される。

ステップＳ１０９の後、計測処理が実行される（ステップＳ１１０）。ステップＳ１１０における処理は、一般的なステレオ計測の処理である。ステップＳ１１０において点検出部１８３は、計測指定点に対応する計測対応点をマッチング処理により探索および検出する。３次元座標算出部１８４は、計測指定点および計測対応点の座標に基づいて計測指定点の３次元座標を算出する。計測部１８７は、計測指定点の３次元座標に基づいて物体の計測を行う。表示制御部１８１は、計測結果を表示部５に表示させる。ステップＳ１１０は、第１の計測ステップに対応する。

ステップＳ１０７において、計測信頼度が低いと信頼度判定部１８５が判定した場合、制御部１８０は、３次元計測に必要な第２の視差画像の取得をＣＣＵ９に命令する。ＣＣＵ９が撮像素子２８を駆動することにより、撮像素子２８は被写体を撮像し、第２の視差画像を生成する。ＣＣＵ９は第２の視差画像を撮像素子２８から取得する。取得された第２の視差画像は、映像信号処理回路１２を介して表示部５およびＣＰＵ１８ａに出力される（ステップＳ１１１）。第１の視差画像および第２の視差画像は、互いに異なるタイミングで生成される。ステップＳ１１１は、第２の撮像ステップに対応する。

ステップＳ１１１の後、表示制御部１８１は、ＣＣＵ９により取得された第２の視差画像を表示部５に表示させる（ステップＳ１１２）。ステップＳ１１２において、第２の視差画像に含まれる第１の画像および第２の画像が表示部５に表示される。第１の画像および第２の画像のいずれか一方のみが表示部５に表示されてもよい。

ステップＳ１１２の後、撮像条件判定部１８６は、ステップＳ１０２において取得された第１の視差画像と、ステップＳ１１１において取得された第２の視差画像とを比較する。これにより、撮像条件判定部１８６は、撮像条件が変化したか否かを判定する（ステップＳ１１３）。第１の実施形態において、第２の視差画像が生成された後、撮像条件判定部１８６は、撮像素子２８の撮像条件が第１のタイミングにおける撮像条件から変化したか否かを判定する。このとき、撮像条件判定部１８６は、第２のタイミングにおける撮像条件が第１のタイミングにおける撮像条件から変化したか否かを判定する。ステップＳ１１３は、撮像条件判定ステップに対応する。

この例では、撮像条件判定部１８６は、画像の比較により撮像条件の変化を判定する。具体的な方法の例を説明する。撮像条件判定部１８６は、第１の視差画像の第１の画像と第２の視差画像の第１の画像との各画素間の差分を算出する。撮像条件判定部１８６は、第１の視差画像の第２の画像と第２の視差画像の第２の画像との各画素間の差分を算出してもよい。撮像条件判定部１８６は、各画素間の差分の絶対値を加算する。撮像条件判定部１８６は、差分の絶対値の総和が閾値を超えているか否かを判定する。差分の絶対値の総和が閾値を超えている場合、撮像条件判定部１８６は、撮像条件が変化したと判定する。差分の絶対値の総和が閾値を超えていない場合、撮像条件判定部１８６は、撮像条件が変化していないと判定する。

撮像条件の判定方法は、上記の方法に限らない。第１の視差画像および第２の視差画像を使用して撮像条件が変化したか否かを判定できさえすれば、どのような方法が使用されてもよい。第１の実施形態の第４の変形例で説明するように、画像による比較ではない方法により撮像条件の判定が行われてもよい。第１の実施形態の第４の変形例については後述する。

ステップＳ１０６において３次元座標算出部１８４は、仮指定点の３次元座標を算出する。算出された３次元座標を構成するｚ座標は物体距離を示す。したがって、ステップＳ１０６において３次元座標算出部１８４は、物体距離を計測する。ステップＳ１１３において撮像条件判定部１８６は、３次元座標算出部１８４によって計測された物体距離が変化したか否かを判定することにより、撮像条件が変化したか否かを判定してもよい。

ステップＳ１１３において、撮像条件が変化していないと撮像条件判定部１８６が判定した場合、ステップＳ１１１における処理が実行される。つまり、撮像条件が変化しない場合、第２の視差画像が繰り返し取得される。図７に示す処理は、撮像条件の変更をユーザーに促すための処理、あるいは内視鏡装置１が撮像条件を意図的に変更する処理を含まない。内視鏡検査の環境では、手ブレまたは重力等の要因により、挿入部２の先端２０の位置および姿勢の少なくとも１つが常に変動する場合が多い。つまり、撮像素子２８の周囲の環境により撮像素子２８の位置および姿勢の少なくとも１つが変動しやすい。そのため、ステップＳ１１１からステップＳ１１３における処理が実行され続けることは少ない。もし、一定の時間が経っても撮像条件が変わらない場合、スポットレンジングモードが終了してもよい。

ステップＳ１１３において、撮像条件が変化したと撮像条件判定部１８６が判定した場合、点検出部１８３は、第２の視差画像の第１の画像において、仮指定点に類似する類似点を探索および検出する（ステップＳ１１４）。ステップＳ１１４は、第２の点検出ステップに対応する。

図９（ａ）および図９（ｂ）を用いて、ステップＳ１１４における処理の詳細を説明する。図９（ａ）は、第１の視差画像の第１の画像１１１Ｌを示す。図９（ｂ）は、第２の視差画像の第１の画像１１２Ｌを示す。第１の画像１１１Ｌと第１の画像１１２Ｌとでは、ユーザーが注目している領域の画像上の位置がわずかに異なる。具体的には、図９（ｂ）では、第１の画像１１２Ｌにおける注目領域は、第１の画像１１１Ｌにおける注目領域に対して左下方向にずれている。

第１の画像１１１Ｌ上に設定された仮指定点Ｐ１１１Ａおよび仮指定点Ｐ１１１Ｂの座標はＲＡＭ１４に保持されている。点検出部１８３は、第１の画像１１２Ｌにおいて、仮指定点の座標を中心としたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）１１１ＡおよびＲＯＩ１１１Ｂを設定する。点検出部１８３は、ＲＯＩ１１１Ａにおいて仮指定点Ｐ１１１Ａと最も類似している点である類似点Ｐ１１２Ａを決定する。同様に、点検出部１８３は、ＲＯＩ１１１Ｂにおいて仮指定点Ｐ１１１Ｂと最も類似している点である類似点Ｐ１１２Ｂを決定する。

類似点を決定するための方法として、テンプレートマッチング、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒ）、およびＰａｒｔｉｃｌｅ Ｆｉｌｔｅｒ等の公知技術を使用できる。類似点を決定するための方法は、これらに限らない。第１の視差画像の第１の画像（または第２の画像）上の仮指定点の座標から第２の視差画像の第１の画像（または第２の画像）上の類似点の座標を求めることができさえすれば、どのような方法が使用されてもよい。

ステップＳ１１４の後、点検出部１８３は、第２の視差画像の第２の画像において、類似点に対応する類似対応点を探索および検出する（ステップＳ１１５）。例えば、ステップＳ１１５において、ステップＳ１１４における処理と同様の処理が実行される。ステップＳ１１５は、第３の点検出ステップに対応する。

図１０（ａ）および図１０（ｂ）を用いて、ステップＳ１１５における処理の詳細を説明する。図１０（ａ）は、第１の視差画像の第２の画像１２１Ｒを示す。図１０（ｂ）は、第２の視差画像の第２の画像１２２Ｒを示す。

第２の画像１２１Ｒ上で検出された対応点Ｐ１２１Ａおよび対応点Ｐ１２１Ｂの座標はＲＡＭ１４に保持されている。点検出部１８３は、第２の画像１２２Ｒにおいて、対応点の座標を中心としたＲＯＩ１２１ＡおよびＲＯＩ１２１Ｂを設定する。点検出部１８３は、ＲＯＩ１２１Ａにおいて対応点Ｐ１２１Ａと最も類似している点である類似対応点Ｐ１２２Ａを決定する。同様に、点検出部１８３は、ＲＯＩ１２１Ｂにおいて対応点Ｐ１２１Ｂと最も類似している点である類似対応点Ｐ１２２Ｂを決定する。

対応類似点を検出するための処理は、上記の処理に限らない。例えば、点検出部１８３は、第２の視差画像の第１の画像上で検出された類似点に基づいて、マッチング処理により第２の視差画像の第２の画像上の類似対応点を検出してもよい。この処理は、ステップＳ１０５に対応する第１の点検出ステップと同じである。

ステップＳ１１５の後、ステップＳ１０６における処理が実行される。ステップＳ１０６において、仮指定点が類似点に置き換わり、類似点における計測信頼度が算出される。その後、ステップＳ１０７（第２の信頼度判定ステップ）において計測信頼度が判定される。計測信頼度が高いと信頼度判定部１８５が判定した場合、ステップＳ１０８およびステップＳ１０９における処理が実行される。その後、ステップＳ１１０（第２の計測ステップ）において計測処理が実行される。

上記の処理により、計測信頼度が高くなるまで一対の視差画像の取得が継続される。予め決定された制限時間内に、計測信頼度が高い画像が取得されなかった場合には処理が終了してもよい。

ステップＳ１１２における処理は必須ではない。したがって、第２の視差画像が表示されなくてもよい。

図７に示す特徴的な処理が実行されるモードは、スポットレンジングモードに限らない。したがって、ステップＳ１０１における処理は必須ではない。

計測モードが事前に設定されている場合に図７に示す特徴的な処理が実行されてもよい。したがって、ステップＳ１０８における処理は必須ではない。

第１の実施形態の第２の変形例で説明するように、ステップＳ１０９における処理は必須ではない。

第１の実施形態において、取得された視差画像の計測信頼度が低い場合、撮像条件が変化したか否かが判定される。撮像条件が変化したことが確認された後、視差画像が再度取得される。これにより、視差画像を取得する回数を減らすことができる。そのため、内視鏡装置１は、ユーザーの手間を減らすことができ、かつ計測信頼度が高い画像を取得することができる。その結果、検査効率が向上する。

ユーザーにより指定点が指定される前に複数の画像が取得される従来技術では、計測が実行されるまで、取得された複数の画像がメモリ等の記憶領域に保存される必要がある。多数の画像が取得される場合には、ハードウェアリソースを多く使うという問題がある。組み込み機器の特性を考慮すると、これは大きな制約になる可能性がある。第１の実施形態において、取得される視差画像の数が減るため、画像の記憶のためのハードウェアリソースを節約することができる。

（第１の実施形態の第１の変形例）
上記の例では、ステップＳ１１１において１対の第２の視差画像が取得される。しかしながら、ステップＳ１１１において取得される第２の視差画像は１対である必要はない。第１の実施形態の第１の変形例において、ステップＳ１１１における処理が１回実行されたときにＮ対の第２の視差画像が連続的に取得される。Ｎは２以上の整数である。ステップＳ１１２において、Ｎ対の視差画像に含まれる画像が表示部５に同時に表示される。あるいは、ステップＳ１１２において、Ｎ対の視差画像に含まれる画像が表示部５に１対ずつ順番に表示される。

信頼度判定部１８５は、取得されたＮ対の各第２の視差画像に対して、第１の視差画像の撮像条件から撮像条件が変化したか否かを判定してもよい。撮像条件が変化した場合、取得された各第２の視差画像に対して、ステップＳ１１４、ステップＳ１１５、ステップＳ１０６、およびステップＳ１０７における処理が実行されてもよい。その結果、計測信頼度が高い複数の第２の視差画像が抽出されてもよい。その場合、抽出された第２の視差画像のうち最も計測信頼度の高い１対の第２の視差画像が計測に使用されてもよい。

ステップＳ１０７において、複数の第２の視差画像に対して、計測信頼度が高いと判定された場合、信頼度判定部１８５は、複数の第２の視差画像に対応する複数の計測信頼度の統計量を算出してもよい。例えば、統計量は、標準偏差またはヒストグラムである。表示制御部１８１は、算出された統計量を表示部５に表示させてもよい。

（第１の実施形態の第２の変形例）
上記の例では、ステップＳ１０４において仮指定点がユーザーにより指定された後、ステップＳ１０９において仮指定点の座標の調整により計測指定点が決定される。つまり、計測指定点の決定のための手順が２段階になっている。しかしながら、ステップＳ１０４において仮指定点の座標が、計測を実行する上で問題ない精度で検出されていれば、ステップＳ１０９における処理が省略されてもよい。ステップＳ１０９における処理を省略するか否かをユーザーが決定してもよい。

（第１の実施形態の第３の変形例）
上記の例では、ステップＳ１０４において設定された仮指定点がその後の処理で使用される。しかしながら、ユーザーが計測したい位置が途中で変わることも想定される。この場合ユーザーは、ステップＳ１１２において表示部５に表示される画像を見て、ステップＳ１０４において設定された仮指定点を変更することができる。例えば、ユーザーは、仮指定点の位置すなわち座標を、最初に設定された座標とは異なる座標に変更することができる。あるいは、ユーザーは、仮指定点の数を増やす、または減らすことができる。第１の実施形態の第３の変形例において、ユーザーにより変更される可能性がある仮指定点の情報を最新の情報に更新するステップが追加される。

図１１を使用して、第１の実施形態の第３の変形例における処理について説明する。図１１は、計測のための処理を示す。図１１に示す処理について、図７に示す処理と異なる点を説明する。

ステップＳ１１２において第２の視差画像が表示されたとき、第１の視差画像上の仮指定点の座標と同じ座標に仮指定点が表示される。ユーザーは、操作部４を操作することにより、仮指定点の座標を変更することができる。ユーザーは、操作部４を操作し、新しい仮指定点を指定することにより、仮指定点を追加することができる。ユーザーは、操作部４を操作し、既に設定された仮指定点のキャンセルを指示することにより、仮指定点をキャンセルすることができる。

ステップＳ１１３において、撮像条件が変化したと撮像条件判定部１８６が判定した場合、点検出部１８３は、ユーザーにより仮指定点の座標または数が更新されたか否かを判定する（ステップＳ１２１）。

ステップＳ１２１において、ユーザーにより仮指定点の座標または数が更新されたと点検出部１８３が判定した場合、ステップＳ１０６における処理が実行される。この場合、ステップＳ１０６において類似点の座標情報は存在しない。そのため、ステップＳ１０６において、指定点における計測信頼度が算出される。ユーザーにより仮指定点が追加されることにより複数の仮指定点が存在する場合、ステップＳ１０６において、各仮指定点における計測信頼度が算出される。ステップＳ１０７において全ての仮指定点の計測信頼度が高いと判定された場合、ステップＳ１０８における処理が実行される。

ステップＳ１２１において、ユーザーにより仮指定点の座標または数が更新されていないと点検出部１８３が判定した場合、ステップＳ１１４における処理が実行される。

ステップＳ１２１における処理が実行されるタイミングは、図１１に示すタイミングに限らない。仮指定点の座標情報および数が最新の状態に更新されさえすれば、ステップＳ１２１における処理は、ステップＳ１０５からステップＳ１１４までの処理が実行される期間の任意のタイミングで実行されてもよい。ステップＳ１２１における処理が実行されるタイミングは、ステップＳ１０８からステップＳ１１０までの処理が実行される期間には含まれない。

上記以外の点について、図１１に示す処理は、図７に示す処理と同様である。

（第１の実施形態の第４の変形例）
第１の実施形態で説明したように、ステップＳ１１１において第２の視差画像が取得され、かつステップＳ１１３において第１の視差画像と第２の視差画像との比較により撮像条件が判定される。しかしながら、撮像条件が変化したか否かの判定において、必ずしも第２の視差画像を取得する必要はない。例えば、挿入部２の先端２０に組み込まれた小型のセンサーが取得した情報に基づいて、内視鏡の位置または姿勢が変化したか否かが判定されてもよい。第１の実施形態の第４の変形例において撮像条件判定部１８６は、撮像素子２８の位置および姿勢の少なくとも１つが変化したか否かを判定する。信頼度判定部１８５によって計測信頼度が低いと判定され、かつ撮像条件判定部１８６によって撮像条件が変化したと判定された後、撮像素子２８は、計測対象の物体を第２のタイミングで撮像し、第２の視差画像を生成する。

第１の実施形態の第４の変形例において、図４に示す挿入部２の先端２０の構成は、図１２に示す構成に変更される。図１２は、挿入部２の先端２０およびステレオ光学アダプター３０の断面を示す。図１２に示す構成について、図４に示す構成と異なる点を説明する。

図１２に示すように、センサー２９が挿入部２の先端２０に配置されている。センサー２９は撮像素子２８の近傍に配置されている。センサー２９は撮像素子２８から離れている。センサー２９は撮像素子２８と接触してもよい。センサー２９は撮像素子２８の内部に配置されてもよい。センサー２９は、磁気センサー、加速度センサー、およびジャイロセンサー等である。センサー２９に実装される検出方式に関わらず、センサー２９は、撮像素子２８の位置および姿勢の少なくとも１つを検出できさえすればよい。センサー２９は、撮像素子２８の位置および姿勢の少なくとも１つを示す信号を出力する。

図１３を使用して、第１の実施形態の第４の変形例における処理について説明する。図１３は、計測のための処理の手順を示す。図１３に示す処理について、図７に示す処理と異なる点を説明する。

ステップＳ１０７において、計測信頼度が低いと信頼度判定部１８５が判定した場合、ステップＳ１１３における処理が実行される。ステップＳ１１３において撮像条件判定部１８６は、センサー２９から出力される信号が示す撮像素子２８の位置または姿勢の変化量が、予め設定された所定の値よりも大きいか否かを判定する。撮像素子２８の位置または姿勢の変化量が所定の値よりも大きい場合、撮像条件判定部１８６は、撮像条件が変化したと判定する。撮像素子２８の位置または姿勢の変化量が所定の値よりも小さい場合、撮像条件判定部１８６は、撮像条件が変化していないと判定する。

ステップＳ１１３において、撮像条件が変化していないと撮像条件判定部１８６が判定した場合、ステップＳ１１３における処理が再度実行される。つまり、撮像条件が変化しない場合、撮像条件が変化したか否かの判定が繰り返される。ステップＳ１１３において、撮像条件が変化したと撮像条件判定部１８６が判定した場合、ステップＳ１１１における処理が実行される。ステップＳ１１２の後、ステップＳ１１４における処理が実行される。

上記以外の点について、図１３に示す処理は、図７に示す処理と同様である。

撮像条件判定部１８６は、ユーザーによって照明の明るさが変更されたか否かを判定することにより、撮像条件が変化したか否かを判定してもよい。あるいは、撮像条件判定部１８６は、ユーザーによって画像処理の設定値（画像処理パラメーター）が変更されたか否かを判定することにより、撮像条件が変化したか否かを判定してもよい。ステップＳ１１３において、ユーザーによって照明の明るさが変更されていない、または画像処理の設定値が変更されていないと撮像条件判定部１８６が判定した場合、ステップＳ１１３における処理が再度実行される。ステップＳ１１３において、ユーザーによって照明の明るさが変更された、または画像処理の設定値が変更されたと撮像条件判定部１８６が判定した場合、ステップＳ１１１における処理が実行される。

（第２の実施形態）
本発明の第２の実施形態の内視鏡装置１は、ユーザーへの支援機能を有する。具体的には、内視鏡装置１は、計測に適した画像を取得するために必要な支援情報をユーザーに通知する。これにより、内視鏡装置１は、計測に適した画像を高速に取得することができる。支援情報は、計測信頼度が低くなった原因と、計測信頼度を高めるための対策とで構成される。支援情報は、計測信頼度を高めるための対策として、撮像条件の変更、指定点の変更、およびステレオ光学アダプター３０の装着状態の適正化のうち少なくとも１つをユーザーに促す情報を含む。

第２の実施形態において、第１の実施形態におけるＣＰＵ１８ａは、図１４に示すＣＰＵ１８ｂに変更される。図１４は、ＣＰＵ１８ｂの機能構成を示す。図１４に示す構成について、図５に示す構成と異なる点を説明する。

ＣＰＵ１８ｂは、図５に示す構成に加えて、通知制御部１８８を有する。信頼度判定部１８５によって計測信頼度が低いと判定された後、かつ第２の視差画像が取得される前に、通知制御部１８８は、計測信頼度を高めるための情報をユーザーに通知する。例えば、通知制御部１８８は、撮像素子２８の位置および姿勢の少なくとも１つを変更することをユーザーに促す情報をユーザーに通知する。これにより、通知制御部１８８は、撮像素子２８の撮像条件を第１のタイミングにおける撮像条件と異なる条件に変更することをユーザーに促す情報をユーザーに通知する。通知制御部１８８は、物体距離が変化するように、撮像素子２８の位置および姿勢の少なくとも１つを変更することをユーザーに促す情報をユーザーに通知する。

具体的には、通知制御部１８８は、計測信頼度を高めるためのメッセージ等を画像上に表示させる。例えば、通知制御部１８８は、メッセージ等のグラフィック画像信号を生成する。通知制御部１８８は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｂから出力されたグラフィック画像信号とを合成する。これにより、メッセージ等が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、メッセージ等が重畳された画像を表示する。メッセージ等は、計測信頼度が低くなった原因と、計測信頼度を高めるための対策とを示す。

ユーザーへの通知方法は、表示部５による情報の表示に限らない。例えば、計測信頼度を高めるための情報を示す音声が出力されてもよい。

上記以外の点について、図１４に示す構成は、図５に示す構成と同様である。

図１５を使用して、第２の実施形態における処理について説明する。図１５は、計測のための処理の手順を示す。図１５に示す処理について、図７に示す処理と異なる点を説明する。

ステップＳ１０７において、計測信頼度が低いと信頼度判定部１８５が判定した場合、通知制御部１８８は、計測信頼度を高めるための情報をユーザーに通知する（ステップＳ１３１）。ステップＳ１３１の後、ステップＳ１１１における処理が実行される。ステップＳ１１３において、撮像条件が変化していないと撮像条件判定部１８６が判定した場合、ステップＳ１３１における処理が実行される。

上記以外の点について、図１５に示す処理は、図７に示す処理と同様である。

図１６および図１７は、ステップＳ１３１における処理の手順を示す。図１６および図１７を使用して、ユーザーに対する情報通知処理の詳細を説明する。

通知制御部１８８は、信頼度判定部１８５から出力された計測信頼度と、その関連情報とを受け取る（ステップＳ１３１１）。関連情報は、信頼度判定部１８５が結果を得るために使用した仮指定点座標、２次元画像、および３次元座標等である。

ステップＳ１３１１の後、通知制御部１８８は、３次元座標を構成するｚ座標を使用し、物体距離が十分に近いか否かを判定する。これにより、通知制御部１８８は、内視鏡先端（挿入部２の先端２０）が被写体に十分近づいたか否かを判定する（ステップＳ１３１２）。

ステップＳ１３１２において、物体距離が遠いと通知制御部１８８が判定した場合、通知制御部１８８は、内視鏡先端を被写体に近づけるようにユーザーに通知する（ステップＳ１３１３）。これにより、通知制御部１８８は、撮像素子２８の位置を変更することをユーザーに促す情報をユーザーに通知する。ステップＳ１３１３における処理が実行されることにより、図１６および図１７に示す処理が終了する。

図１８は、ステップＳ１３１３における表示部５の表示画面５１を示す。図１８に示すように、現在の物体距離Ｍ１０１、目標の物体距離Ｍ１０２、および計測に適した撮像条件を実現するための対策案Ｍ１０３が表示画面５１に表示される。また、内視鏡先端を被写体に近づけることをユーザーに通知する図形Ｆ１０１が表示画面５１に表示される。内視鏡先端を被写体に近づけることをユーザーに通知するアイコン等が表示画面５１に表示されてもよい。

ステップＳ１３１２において、物体距離が十分に近いと通知制御部１８８が判定した場合、通知制御部１８８は、ユーザーにより指定された仮指定点が視野中心近傍にあるか否かを判定する（ステップＳ１３１４）。

ステップＳ１３１４において、仮指定点が視野中心近傍にないと通知制御部１８８が判定した場合、通知制御部１８８は、内視鏡先端の姿勢を変えるための湾曲操作により仮指定点を視野中心近傍に移動させるようにユーザーに通知する（ステップＳ１３１５）。これにより、通知制御部１８８は、撮像素子２８の姿勢を変更することをユーザーに促す情報をユーザーに通知する。ステップＳ１３１５における処理が実行されることにより、図１６および図１７に示す処理が終了する。

図１９は、ステップＳ１３１５における表示部５の表示画面５１を示す。図１９に示すように、現在の仮指定点の座標近傍の位置Ｐ１３１、目標の視野中心の領域Ｒ１３１、および計測に適した撮像条件を実現するための対策案Ｍ１３１が表示画面５１に表示される。また、湾曲操作のイメージをユーザーに通知する図形Ｆ１３１が表示画面５１に表示される。湾曲操作のイメージをユーザーに通知するアイコン等が表示画面５１に表示されてもよい。

ステップＳ１３１４において、仮指定点が視野中心近傍にあると通知制御部１８８が判定した場合、通知制御部１８８は、仮指定点近傍の画像の輝度（明るさ）が適切であるか否かを判定する（ステップＳ１３１６）。

ステップＳ１３１６において、仮指定点近傍の画像の輝度が適切でないと通知制御部１８８が判定した場合、通知制御部１８８は、画像の輝度値を上げるまたは下げることにより仮指定点近傍の輝度を調整するようにユーザーに通知する（ステップＳ１３１７）。ステップＳ１３１７における処理が実行されることにより、図１６および図１７に示す処理が終了する。

図２０は、ステップＳ１３１７における表示部５の表示画面５１を示す。図２０に示すように、現在の仮指定点の座標近傍の輝度値Ｍ１４１、目標の輝度値Ｍ１４２、および計測に適した撮像条件を実現するための対策案Ｍ１４３が表示画面５１に表示される。また、輝度変更のイメージをユーザーに通知する図形Ｆ１４１が表示画面５１に表示される。輝度変更のイメージをユーザーに通知するアイコン等が表示画面５１に表示されてもよい。

ステップＳ１３１６において、仮指定点近傍の画像の輝度が適切であると通知制御部１８８が判定した場合、通知制御部１８８は、手ブレが発生しているか否かを判定する（ステップＳ１３１８）。例えば、ステップＳ１３１８において、通知制御部１８８は、連続的に取得された２対の視差画像を比較することにより手ブレが発生しているか否かを判定する。内視鏡装置１が図１２に示すセンサー２９を有している場合、通知制御部１８８は、センサー２９から出力される信号に基づいて、手ブレが発生しているか否かを判定してもよい。

ステップＳ１３１８において、手ブレが発生していると通知制御部１８８が判定した場合、通知制御部１８８は、内視鏡先端の手ブレを抑制するようにユーザーに通知する（ステップＳ１３１９）。ステップＳ１３１９における処理が実行されることにより、図１６および図１７に示す処理が終了する。

図２１は、ステップＳ１３１９における表示部５の表示画面５１を示す。図２１に示すように、現在の手ブレ量Ｍ１５１、目標の手ブレ量Ｍ１５２、および計測に適した撮像条件を実現するための対策案Ｍ１５３が表示画面５１に表示される。また、内視鏡先端の手ブレを抑制するイメージをユーザーに通知する図形Ｆ１５１が表示画面５１に表示される。内視鏡先端の手ブレを抑制するイメージをユーザーに通知するアイコン等が表示画面５１に表示されてもよい。

ステップＳ１３１８において、手ブレが発生していないと通知制御部１８８が判定した場合、通知制御部１８８は、仮指定点近傍においてハレーションが発生しているか否かを判定する（ステップＳ１３２０）。

ステップＳ１３２０において、ハレーションが発生していると通知制御部１８８が判定した場合、通知制御部１８８は、構図が所定の回数よりも多く変更されたか否かを判定する（ステップＳ１３２１）。

ステップＳ１３２１において、構図が所定の回数以下だけ変更されたと通知制御部１８８が判定した場合、通知制御部１８８は、仮指定点近傍の領域がハレーションと重ならないように、内視鏡先端と被写体との位置関係すなわち構図を変化させるようにユーザーに通知する（ステップＳ１３２２）。これにより、通知制御部１８８は、撮像素子２８の位置および姿勢の少なくとも１つを変更することをユーザーに促す情報をユーザーに通知する。ステップＳ１３２２における処理が実行されることにより、図１６および図１７に示す処理が終了する。

ステップＳ１３２１において、構図が所定の回数よりも多く変更されたと通知制御部１８８が判定した場合、通知制御部１８８は、構図が変更されても仮指定点近傍に発生しているハレーションを回避できないと判定する。そのため、通知制御部１８８は、仮指定点の座標を変更するようにユーザーに通知する（ステップＳ１３２３）。これにより、通知制御部１８８は、仮指定点の変更をユーザーに促す情報をユーザーに通知する。ステップＳ１３２３における処理が実行されることにより、図１６および図１７に示す処理が終了する。ステップＳ１３２１における判定の基準である所定の回数の上限および下限に制限はない。

ステップＳ１３２０において、ハレーションが発生していないと通知制御部１８８が判定した場合、通知制御部１８８は、オクルージョンが発生しているか否かを判定する（ステップＳ１３２４）。オクルージョンは、第１の光学系３１および第２の光学系３２の一方により得られた光学像では視認でき、第１の光学系３１および第２の光学系３２の他方により得られた光学像では視認できない領域が発生する状態である。

ステップＳ１３２４において、オクルージョンが発生していると通知制御部１８８が判定した場合、ステップＳ１３２１における処理が実行される。ステップＳ１３２４において、オクルージョンが発生していないと通知制御部１８８が判定した場合、通知制御部１８８は、被写体の模様が仮指定点近傍に十分にあるか否かを判定する（ステップＳ１３２５）。

ステップＳ１３２５において、被写体の模様が仮指定点近傍に十分にないと通知制御部１８８が判定した場合、計測精度が低下する。そのため、通知制御部１８８は、十分な模様がある座標に仮指定点を変更するようにユーザーに通知する（ステップＳ１３２３）。ステップＳ１３２５において、被写体の模様が仮指定点近傍に全くないと通知制御部１８８が判定した場合も、ステップＳ１３２３における処理が実行される。

ステップＳ１３２５において、被写体の模様が仮指定点近傍に十分にあると通知制御部１８８が判定した場合、通知制御部１８８は、仮指定点近傍の模様と同様の模様が、仮指定点から視差方向に離れた座標にあるか否かを判定する（ステップＳ１３２６）。

ステップＳ１３２６において、仮指定点近傍の模様と同様の模様が、仮指定点から視差方向に離れた座標にあると通知制御部１８８が判定した場合、計測精度が低下する。そのため、通知制御部１８８は、内視鏡先端の光軸周りの回転動作または湾曲操作を行うことにより、仮指定点近傍の模様と似た視差方向の模様をなくすようにユーザーに通知する（ステップＳ１３２７）。これにより、通知制御部１８８は、撮像素子２８の姿勢を変更することをユーザーに促す情報をユーザーに通知する。例えば、内視鏡先端の光軸周りの回転動作は、内視鏡先端の捻り動作である。ステップＳ１３２７における処理が実行されることにより、図１６および図１７に示す処理が終了する。

ステップＳ１３２６において、仮指定点近傍の模様と同様の模様が、仮指定点から視差方向に離れた座標にないと通知制御部１８８が判定した場合、取得された画像またはステレオ光学アダプター３０の装着状態が正しくない可能性がある。そのため、通知制御部１８８は、それらの状態を確認するようにユーザーに通知する（ステップＳ１３２８）。これにより、通知制御部１８８は、ステレオ光学アダプター３０の装着状態の適正化をユーザーに促す情報をユーザーに通知する。ステップＳ１３２８における処理が実行されることにより、図１６および図１７に示す処理が終了する。

ステップＳ１３１３、ステップＳ１３１５、ステップＳ１３１７、ステップＳ１３１９、ステップＳ１３２２、およびステップＳ１３２７における処理により、通知制御部１８８は、撮像素子２８の撮像条件を第１のタイミングにおける撮像条件と異なる条件に変更することをユーザーに促す情報をユーザーに通知する。

ステップＳ１０６において３次元座標算出部１８４は、仮指定点の３次元座標を算出する。算出された３次元座標を構成するｚ座標は物体距離を示す。したがって、ステップＳ１０６において３次元座標算出部１８４（物体距離計測部）は、物体距離を計測する。ステップＳ１３１において通知制御部１８８によって、計測信頼度を高めるための情報がユーザーに通知され、かつステップＳ１１１において第２の視差画像が取得される。その後、撮像条件判定部１８６は、３次元座標算出部１８４によって計測された物体距離が変化したか否かを判定することにより、撮像条件が変化したか否かを判定する。

通知制御部１８８とは別の処理部が、図１６および図１７に示す処理のうち判定に関する処理を実行し、かつ通知制御部１８８は通知に関する処理のみを実行してもよい。

図１６および図１７に示す処理は一例である。各ステップの順番が変更されてもよい。一部のステップが省略されてもよい。１つのステップが複数のステップに分割されてもよい。例えば、内視鏡先端が被写体に十分近づいたことが確認され、かつ仮指定点が視野中心近傍にあることが確認された後、内視鏡先端が被写体に十分近づいたか否かが再度判定されてもよい。

第２の実施形態において、計測に適した撮像条件を実現するための支援情報がユーザーに通知される。これにより、第１の実施形態と比較して、内視鏡装置１は計測に適した画像を高速に取得することができる。そのため、検査効率が向上する。

（第３の実施形態）
本発明の第３の実施形態の内視鏡装置１は、撮像条件が計測に適するように撮像条件を自動的に変更する。第１の実施形態およびその第４の変形例と同様に、撮像条件は、撮像素子２８の位置および姿勢に加えて、照明の明るさおよび画像処理の設定値（画像処理パラメーター）を含む。

第３の実施形態において、第１の実施形態におけるＣＰＵ１８ａは、図２２に示すＣＰＵ１８ｃに変更される。図２２は、ＣＰＵ１８ｃの機能構成を示す。図２２に示す構成について、図５に示す構成と異なる点を説明する。

ＣＰＵ１８ｃは、図５に示す構成に加えて、撮像条件制御部１８９を有する。信頼度判定部１８５によって計測信頼度が低いと判定された後、かつ第２の視差画像が取得される前に、撮像条件制御部１８９は、計測信頼度が高まるように撮像素子２８の撮像条件を変更する。撮像条件制御部１８９は、計測信頼度が高まるように、第２のタイミングにおける撮像条件を第１のタイミングにおける撮像条件と異なる条件に変更する。これにより、撮像条件が変更される前と比較して、計測信頼度が向上する。

撮像条件は撮像素子２８の位置および姿勢の少なくとも１つである。撮像条件は、計測対象の物体からの光を撮像素子２８に入射させる光学系とその物体との間の物体距離であってもよい。撮像条件は、照明の明るさおよび画像処理の設定値の少なくとも１つであってもよい。

上記以外の点について、図２２に示す構成は、図５に示す構成と同様である。

図２３を使用して、第３の実施形態における処理について説明する。図２３は、計測のための処理の手順を示す。図２３に示す処理について、図７に示す処理と異なる点を説明する。

ステップＳ１０７において、計測信頼度が低いと信頼度判定部１８５が判定した場合、撮像条件制御部１８９は、計測信頼度が高まるように撮像素子２８の撮像条件を変更する（ステップＳ１４１）。ステップＳ１４１の後、ステップＳ１１１における処理が実行される。ステップＳ１１３において、撮像条件が変化していないと撮像条件判定部１８６が判定した場合、ステップＳ１４１における処理が実行される。

上記以外の点について、図２３に示す処理は、図７に示す処理と同様である。

図２４は、ステップＳ１４１における処理の手順を示す。図２４を使用して、撮像条件変更処理の詳細を説明する。

撮像条件制御部１８９は、信頼度判定部１８５から出力された計測信頼度と、その関連情報とを受け取る（ステップＳ１４１１）。関連情報は、信頼度判定部１８５が結果を得るために使用した仮指定点座標および３次元座標等である。

ステップＳ１４１１の後、撮像条件制御部１８９は、ユーザーにより指定された仮指定点が視野中心近傍にあるか否かを判定する（ステップＳ１４１２）。

ステップＳ１４１２において、仮指定点が視野中心近傍にあると撮像条件制御部１８９が判定した場合、ステップＳ１４１５における処理が実行される。ステップＳ１４１２において、仮指定点が視野中心近傍にないと撮像条件制御部１８９が判定した場合、撮像条件制御部１８９は、内視鏡先端の姿勢を変えるための湾曲制御により、仮指定点を視野中心方向に移動させる（ステップＳ１４１３）。

ステップＳ１４１３において撮像条件制御部１８９は、挿入部２の先端２０を湾曲させるための湾曲機構を制御する。例えば、撮像条件制御部１８９は、挿入部２の先端２０を上、下、左、および右のいずれか１つの方向に湾曲させるための命令を生成する。撮像条件制御部１８９により生成された命令は、制御インタフェース１７を介して内視鏡ユニット８に出力される。内視鏡ユニット８は、その命令に基づいて湾曲機構を駆動することにより、挿入部２の先端２０を湾曲させる。

ステップＳ１４１３の後、撮像条件制御部１８９は、湾曲状態が異常であるか否かを判定する（ステップＳ１４１４）。例えば、異常な湾曲状態は、撮像条件制御部１８９が仮指定点を視野中心に移動させようと試みても湾曲角度が限界まで既に到達している状態である。あるいは、異常な湾曲状態は、被写体の一部に内視鏡先端がひっかかって湾曲が動作しない等の状態である。

ステップＳ１４１４において、湾曲状態が異常でないと撮像条件制御部１８９が判定した場合、ステップＳ１４１２における処理が実行される。ステップＳ１４１４において、湾曲状態が異常であると撮像条件制御部１８９が判定した場合、撮像条件制御部１８９は湾曲動作を停止する。その後、ステップＳ１４１５における処理が実行される。

撮像条件制御部１８９は、仮指定点近傍の画像の輝度（明るさ）を検出する（ステップＳ１４１５）。ステップＳ１４１５の後、撮像条件制御部１８９は、仮指定点近傍の画像の輝度が適切であるか否かを判定する（ステップＳ１４１６）。

ステップＳ１４１６において、仮指定点近傍の画像の輝度が適切でないと撮像条件制御部１８９が判定した場合、撮像条件制御部１８９は、仮指定点近傍の画像の輝度の目標値を算出する（ステップＳ１４１７）。目標値が予め設定されている場合、ステップＳ１４１７において撮像条件制御部１８９はその目標値をＲＡＭ１４から読み出す。

ステップＳ１４１７の後、撮像条件制御部１８９は、輝度が、ステップＳ１４１７において算出された目標値に近づくように露光時間、ゲイン、および光源の光量を調節する。これにより、撮像条件制御部１８９は、仮指定点近傍の画像の輝度を変更する（ステップＳ１４１８）。ステップＳ１４１８の後、ステップＳ１４１６における処理が実行される。

ステップＳ１４１６において、仮指定点近傍の画像の輝度が適切であると撮像条件制御部１８９が判定した場合、撮像条件制御部１８９は、画像処理の設定値が不適切であると判定する。そのため、撮像条件制御部１８９は、画像処理の設定値を変更する（ステップＳ１４１９）。ステップＳ１４１９における処理が実行されることにより、図２４に示す処理が終了する。

図２４に示す処理は一例である。各ステップの順番が変更されてもよい。一部のステップが省略されてもよい。１つのステップが複数のステップに分割されてもよい。例えば、仮指定点が視野中心近傍に移動した後、仮指定点近傍の輝度が適切に調節される。その後、仮指定点が視野中心近傍から外れていれば、仮指定点を視野中心近傍に移動させる処理が再度実行されてもよい。

内視鏡装置１は、変更できる撮像条件の一部のみを変更してもよい。第２の実施形態における支援情報をユーザーに通知する処理がステップＳ１４１の後に実行されてもよい。

第３の実施形態において、ユーザーは様々な撮像条件を自分でわざわざ変更しなくてもよい。内視鏡装置１が撮像条件を自動的に変更することにより、熟練度の低いユーザーであっても、計測に適した画像を簡単に取得することができる。そのため、検査効率が向上する。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１ 内視鏡装置
２ 挿入部
３ コントロールユニット
４ 操作部
５ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御ユニット
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８ａ，１８ｂ，１８ｃ ＣＰＵ
２０ 先端
２４ 撮像面
２８ 撮像素子
２９ センサー
３０ ステレオ光学アダプター
３１ 第１の光学系
３２ 第２の光学系
１８０ 制御部
１８１ 表示制御部
１８２ 指定点設定部
１８３ 点検出部
１８４ ３次元座標算出部
１８５ 信頼度判定部
１８６ 撮像条件判定部
１８７ 計測部
１８８ 通知制御部
１８９ 撮像条件制御部

Claims (13)

1. 計測対象の物体を撮像し、互いに視差を有する２つの画像を含む視差画像を生成する撮像部と、
   前記物体が第１のタイミングで撮像されたときに生成された第１の視差画像に含まれる前記２つの画像の少なくとも一方を表示部に表示させる表示制御部と、
   前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記表示部に表示された画像上に指定点を設定する指定点設定部と、
   前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記指定点が設定された画像と異なる画像において、前記指定点に対応する対応点を検出する点検出部と、
   前記指定点および前記対応点に基づいて計測信頼度を判定する信頼度判定部と、
   前記信頼度判定部によって前記計測信頼度が高いと判定された場合に、前記視差画像を使用して前記物体の計測を行う計測部と、
   を有する計測装置において、
   前記信頼度判定部によって前記計測信頼度が低いと判定された後、前記撮像部の撮像条件が前記第１のタイミングにおける前記撮像条件から変化したか否かを判定する撮像条件判定部をさらに有し、
   前記信頼度判定部によって前記計測信頼度が低いと判定された後、前記撮像部は、前記物体を第２のタイミングで撮像し、前記２つの画像を含む第２の視差画像を生成し、
   前記撮像条件判定部によって前記撮像条件が変化したと判定された後、前記点検出部は、前記第１の視差画像に含まれる前記２つの画像のうちの１つに設定された前記指定点に類似する類似点を、前記第２の視差画像に含まれる前記２つの画像のうちの１つにおいて検出し、
   前記点検出部は、前記第２の視差画像に含まれる前記２つの画像のうちの１つであって、前記類似点が検出された画像と異なる画像において、前記類似点に対応する類似対応点を検出し、
   前記信頼度判定部は、前記類似点および前記類似対応点に基づいて前記計測信頼度を判定する
   ことを特徴とする計測装置。
2. 前記第２の視差画像が生成された後、前記撮像条件判定部は、前記撮像部の撮像条件が前記第１のタイミングにおける前記撮像条件から変化したか否かを判定する
   ことを特徴とする請求項１に記載の計測装置。
3. 前記信頼度判定部によって前記計測信頼度が低いと判定され、かつ前記撮像条件判定部によって前記撮像条件が変化したと判定された後、前記撮像部は、前記物体を前記第２のタイミングで撮像し、前記第２の視差画像を生成する
   ことを特徴とする請求項１に記載の計測装置。
4. 前記信頼度判定部によって前記計測信頼度が低いと判定された後、かつ前記第２の視差画像が取得される前に、前記計測信頼度を高めるための情報をユーザーに通知する通知制御部をさらに有する
   ことを特徴とする請求項１に記載の計測装置。
5. 前記通知制御部は、前記撮像部の位置および姿勢の少なくとも１つを変更することを前記ユーザーに促す前記情報を前記ユーザーに通知する
   ことを特徴とする請求項４に記載の計測装置。
6. 前記通知制御部は、前記物体からの光を前記撮像部に入射させる光学系と前記物体との間の物体距離が変化するように、前記撮像部の前記位置および前記姿勢の少なくとも１つを変更することを前記ユーザーに促す前記情報を前記ユーザーに通知する
   ことを特徴とする請求項５に記載の計測装置。
7. 前記物体距離を計測する物体距離計測部をさらに有し、
   前記通知制御部によって前記情報が前記ユーザーに通知され、かつ前記第２の視差画像が取得された後、前記撮像条件判定部は、前記物体距離計測部によって計測された前記物体距離が変化したか否かを判定することにより、前記撮像条件が変化したか否かを判定する
   ことを特徴とする請求項６に記載の計測装置。
8. 前記通知制御部は、前記撮像部の前記撮像条件を前記第１のタイミングにおける前記撮像条件と異なる条件に変更することを前記ユーザーに促す前記情報を前記ユーザーに通知する
   ことを特徴とする請求項４に記載の計測装置。
9. 前記信頼度判定部によって前記計測信頼度が低いと判定された後、かつ前記第２の視差画像が取得される前に、前記計測信頼度が高まるように前記撮像部の前記撮像条件を変更する撮像条件制御部をさらに有する
   ことを特徴とする請求項１に記載の計測装置。
10. 前記撮像条件は、前記撮像部の位置および姿勢の少なくとも１つである
    ことを特徴とする請求項９に記載の計測装置。
11. 前記撮像条件は、前記物体からの光を前記撮像部に入射させる光学系と前記物体との間の物体距離である
    ことを特徴とする請求項１０に記載の計測装置。
12. 前記撮像条件制御部は、前記第２のタイミングにおける前記撮像条件を前記第１のタイミングにおける前記撮像条件と異なる条件に変更する
    ことを特徴とする請求項９に記載の計測装置。
13. 撮像部によって計測対象の物体を第１のタイミングで撮像し、互いに視差を有する２つの画像を含む第１の視差画像を生成する第１の撮像ステップと、
    前記第１の視差画像に含まれる前記２つの画像の少なくとも一方を表示部に表示させる表示ステップと、
    前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記表示部に表示された画像上に指定点を設定する指定点設定ステップと、
    前記第１の視差画像に含まれる前記２つの画像のうちの１つであって、前記指定点が設定された画像と異なる画像において、前記指定点に対応する対応点を検出する第１の点検出ステップと、
    前記指定点および前記対応点に基づいて計測信頼度を判定する第１の信頼度判定ステップと、
    前記第１の信頼度判定ステップにおいて前記計測信頼度が高いと判定された場合に、前記第１の視差画像を使用して前記物体の計測を行う第１の計測ステップと、
    前記第１の信頼度判定ステップにおいて前記計測信頼度が低いと判定された後、前記撮像部の撮像条件が前記第１のタイミングにおける前記撮像条件から変化したか否かを判定する撮像条件判定ステップと、
    前記第１の信頼度判定ステップにおいて前記計測信頼度が低いと判定された後、前記撮像部によって前記物体を第２のタイミングで撮像し、前記２つの画像を含む第２の視差画像を生成する第２の撮像ステップと、
    前記撮像条件判定ステップにおいて前記撮像条件が変化したと判定された後、前記第１の視差画像に含まれる前記２つの画像のうちの１つに設定された前記指定点に類似する類似点を、前記第２の視差画像に含まれる前記２つの画像のうちの１つにおいて検出する第２の点検出ステップと、
    前記第２の視差画像に含まれる前記２つの画像のうちの１つであって、前記類似点が検出された画像と異なる画像において、前記類似点に対応する類似対応点を検出する第３の点検出ステップと、
    前記類似点および前記類似対応点に基づいて前記計測信頼度を判定する第２の信頼度判定ステップと、
    前記第２の信頼度判定ステップにおいて前記計測信頼度が高いと判定された場合に、前記第２の視差画像を使用して前記物体の計測を行う第２の計測ステップと、
    を有することを特徴とする計測装置の作動方法。

Images