JP2013167481A

JP2013167481A - 画像処理装置およびプログラム

Info

Publication number: JP2013167481A
Application number: JP2012029666A
Authority: JP
Inventors: Fumio Hori; 史生堀
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-02-14
Filing date: 2012-02-14
Publication date: 2013-08-29
Also published as: US20130207965A1

Abstract

【課題】欠陥の状態の視覚的な把握を容易にすることができる画像処理装置およびプログラムを提供する。
【解決手段】モニタ２２は、観察対象物の画像と、観察対象物に対応する物体であって予め算出された３次元形状を有する物体の画像とを表示する。ＣＰＵ３４ｃは、観察対象物の画像の姿勢と物体の画像の姿勢とが近づくように、観察対象物の画像と物体の画像との少なくとも一方の姿勢を調整し、物体の画像上で指定される基準点に基づいて、物体の画像に対して、物体を変形させる処理を行う。ＣＰＵ３４ｃは、物体を変形させる処理を行った後、物体の画像の姿勢を変更する。
【選択図】図２

Description

本発明は、観察対象物の画像を処理する画像処理装置およびプログラムに関する。

従来、内視鏡等の観察用治具を使用して、ジェットエンジン内のブレード等の計測が行われている。特許文献１，２には、ブレード等の計測に適した技術が記載されている。特許文献１に記載された技術では、被写体を撮像した被写体画像と、コンピュータグラフィックス（ＣＧ）により生成したＣＧ画像とをモニタに表示し、ＣＧ画像における物体の状態と被写体画像における被写体の状態とが一致するように、ユーザの指示に基づいてＣＧ画像を変更し、計測を行いたい部分に対してＣＧ画像上で計測を行うことが可能である。

特許文献２に記載された技術では、検査対象物を撮像した画像と、検査対象物の寸法を規定するデータから生成された模擬図形とをモニタに表示し、模擬図形の状態と、画像における検査対象物の状態とが一致するように、ユーザの指示に基づいて模擬図形を変更し、計測を行いたい部分に対して模擬図形上で計測を行うことが可能である。

特許文献１，２に記載された技術では、欠陥を有する観察対象物の画像と、欠陥のない計測対象物のデータから生成されたＣＧ画像あるいは模擬図形とを観察者が比較することにより、観察対象物の画像とＣＧ画像あるいは模擬図形との差分として欠陥を視覚的に把握することができる。さらに、観察者は、把握した欠陥に対して、ＣＧ画像あるいは模擬図形を利用して、計測を行うことができる。

特公平６−９５００９号公報特公平８−１２０５４号公報

特定の環境下で使用される製品では、観察対象物の一部が大きく変形する欠陥が発生することがある。例えばジェットエンジン内のブレードでは、端部が折れ曲がったり、端部が欠けたり、表面がくぼんだりする。このような変形による欠陥の状態を詳細に把握するためには、３次元的に様々な角度から欠陥を観察できることが望ましい。しかし、特許文献１，２に記載されている技術では、欠陥の直接的な観察は、一方向から撮像された観察対象物の画像を観察することにより行われるので、観察者が欠陥の状態を詳細に把握することが困難であった。

本発明は、上述した課題に鑑みてなされたものであって、欠陥の状態の視覚的な把握を容易にすることができる画像処理装置およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、前記調整部による調整が行われた後、前記物体の画像上で指定される基準点に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記処理部は、前記物体の画像上で指定される複数の第１の基準点に基づく基準線と、前記物体の画像上で指定される第２の基準点とに基づいて、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする。

また、本発明の画像処理装置において、前記処理部は、前記基準線と、前記第２の基準点と、前記物体の画像上で指定される第３の基準点とに基づいて、前記第２の基準点が前記第３の基準点に移動するように、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする。

また、本発明の画像処理装置において、前記基準点は、入力装置を介して入力される指示に基づいて前記物体の画像上で指定される点であることを特徴とする。

また、本発明は、観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、前記調整部による調整が行われた後、前記物体の形状に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記処理部は、前記物体の画像において前記物体の輪郭を形成する複数の第１の基準点に基づく基準線と、前記物体の画像において前記物体の輪郭を形成する第２の基準点とに基づいて、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする。

また、本発明の画像処理装置において、前記処理部は、前記基準線と、前記第２の基準点と、前記物体の画像において前記物体の輪郭を形成する第３の基準点とに基づいて、前記第２の基準点が前記第３の基準点に移動するように、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする。

また、本発明の画像処理装置において、前記物体の画像上で指定される点に対応する前記物体上の空間座標を算出し、算出した空間座標に基づいて、前記物体のサイズを算出する計測部をさらに備えたことを特徴とする。

また、本発明は、観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、前記調整部による調整が行われた後、前記物体の画像上で指定される基準点に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、としてコンピュータを機能させるためのプログラムである。

また、本発明は、観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、前記調整部による調整が行われた後、前記物体の形状に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、としてコンピュータを機能させるためのプログラムである。

本発明によれば、観察対象物の画像の姿勢と、物体の画像の姿勢とが近づくように観察対象物の画像と物体の画像との少なくとも一方の姿勢が調整された後、物体の画像に対して、物体を変形させる処理が行われる。さらに、物体を変形させる処理が行われた後、物体の画像の姿勢が変更される。これによって、観察者が変形後の物体を様々な角度から観察することが可能となるので、欠陥の状態の視覚的な把握が容易となる。

本発明の一実施形態によるブレード検査システムの構成を示すブロック図である。本発明の一実施形態によるブレード検査システムが備える内視鏡装置の構成を示すブロック図である。本発明の一実施形態によるブレード検査システム（変形例）の構成を示すブロック図である。本発明の一実施形態によるブレード検査システム（変形例）の構成を示すブロック図である。本発明の一実施形態によるブレード検査システム（変形例）が備えるＰＣの構成を示すブロック図である。本発明の一実施形態における３Ｄ計測ソフトの画面を示す参考図である。本発明の一実施形態における３Ｄオブジェクトとカメラポーズの関係を示す参考図である。本発明の一実施形態における３Ｄオブジェクトとカメラポーズの関係を示す参考図である。本発明の一実施形態における３Ｄオブジェクトとカメラポーズの関係を示す参考図である。本発明の一実施形態における３Ｄオブジェクトとカメラポーズの関係を示す参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態におけるカメラポーズの初期値を説明するための参考図である。本発明の一実施形態におけるカメラポーズの初期値を説明するための参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態におけるカメラポーズ設定処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における参照点（計測）指定処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における参照点（３Ｄ）指定処理の内容を説明するための参考図である。本発明の一実施形態における空間座標の算出方法を説明するための参考図である。本発明の一実施形態における空間座標の算出方法を説明するための参考図である。本発明の一実施形態における空間座標の算出方法を説明するための参考図である。本発明の一実施形態における空間座標の算出方法を説明するための参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態におけるマッチング処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における参照点と参照図形を示す参考図である。本発明の一実施形態におけるパン・チルト方向のマッチング処理の内容を説明するための参考図である。本発明の一実施形態におけるデータリストを示す参考図である。本発明の一実施形態におけるデータリストを示す参考図である。本発明の一実施形態におけるデータリストを示す参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態におけるロール方向のマッチング処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態におけるズーム方向のマッチング処理の内容を説明するための参考図である。本発明の一実施形態における辺長（３Ｄ）とカメラポーズのズーム方向位置との関係を示すグラフである。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態におけるシフト方向のマッチング処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄマッチング処理後の被検体と３Ｄオブジェクトを示す参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における３Ｄ計測ソフトの画面を示す参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理後の被検体と３Ｄオブジェクトを示す参考図である。本発明の一実施形態における３Ｄマッチング処理後の被検体と３Ｄオブジェクトを示す参考図である。本発明の一実施形態における３Ｄ計測ソフトによる動作の手順を示すフローチャートである。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理後の被検体と３Ｄオブジェクトを示す参考図である。本発明の一実施形態における３Ｄマッチング処理後の被検体と３Ｄオブジェクトを示す参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理の内容を説明するための参考図である。本発明の一実施形態における３Ｄオブジェクト変形処理後の被検体と３Ｄオブジェクトを示す参考図である。本発明の一実施形態によるブレード検査システムが備える制御用コンピュータのＣＰＵの機能構成を示すブロック図である。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本実施形態によるブレード検査システムの構成を示している。ジェットエンジン１内には、検査対象物である複数のタービンブレード１０（もしくはコンプレッサーブレード）が所定の間隔で周期的に配置されている。また、ジェットエンジン１には、タービンブレード１０を回転方向Ａに所定の速度で回転させるターニングツール２が接続されている。本実施形態では、タービンブレード１０の画像を取り込んでいる間は常にタービンブレード１０を回転させた状態にしている。

本実施形態では、タービンブレード１０の画像を取得するため、内視鏡装置３（本発明の画像処理装置に対応）が用いられる。ジェットエンジン１の内部には、内視鏡装置３の内視鏡挿入部２０が挿入されており、この内視鏡挿入部２０により、回転しているタービンブレード１０の映像が取り込まれる。また、内視鏡装置３には、タービンブレード１０の３次元計測を行うための３Ｄ計測ソフトが記憶されている。

図２は内視鏡装置３の構成を示している。内視鏡装置３は、内視鏡挿入部２０、内視鏡装置本体２１、モニタ２２、およびリモコン（リモートコントローラ）２３から構成されている。内視鏡挿入部２０の先端には、撮像光学系３０ａおよび撮像素子３０ｂが内蔵されている。また、内視鏡装置本体２１には、画像信号処理装置（ＣＣＵ）３１、光源３２、湾曲制御ユニット３３、および制御用コンピュータ３４が内蔵されている。

内視鏡挿入部２０において、撮像光学系３０ａは被写体（被検体）からの光を集光し、撮像素子３０ｂの撮像面上に被写体像を結像する。撮像素子３０ｂは、被写体像を光電変換して撮像信号を生成する。撮像素子３０ｂから出力された撮像信号は画像信号処理装置３１に入力される。

内視鏡装置本体２１において、画像信号処理装置３１は、撮像素子３０ｂからの撮像信号をＮＴＳＣ信号等の映像信号に変換して制御用コンピュータ３４に供給し、さらに必要に応じてアナログビデオ出力として、外部に出力する。

光源３２は、光ファイバ等を通じて内視鏡挿入部２０の先端に接続されており、光を外部に照射することができる。湾曲制御ユニット３３は内視鏡挿入部２０の先端と接続されており、先端を上下左右に湾曲させることができる。光源３２および湾曲制御ユニット３３の制御は、制御用コンピュータ３４によって行われる。

制御用コンピュータ３４は、ＲＡＭ３４ａ、ＲＯＭ３４ｂ、ＣＰＵ３４ｃ、外部インターフェースとしてネットワークＩ／Ｆ３４ｄ、ＲＳ２３２ＣＩ／Ｆ３４ｅ、カードＩ／Ｆ３４ｆから構成されている。ＲＡＭ３４ａは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ＲＯＭ３４ｂには、内視鏡装置３を制御するための一連のソフトウェア（プログラム）が記憶されており、後述する３Ｄ計測ソフトもＲＯＭ３４ｂ内に記憶される。ＣＰＵ３４ｃは、ＲＯＭ３４ｂに記憶されているソフトウェアの命令コードに従って、ＲＡＭ３４ａに記憶されたデータを用いて各種制御のための演算等を実行する。

ネットワークＩ／Ｆ３４ｄは、外部ＰＣとＬＡＮケーブルによって接続するためのインターフェースであり、外部ＰＣに対して、画像信号処理装置３１から出力された映像情報を展開することができる。ＲＳ２３２ＣＩ／Ｆ３４ｅは、リモコン２３と接続するためのインターフェースであり、このリモコン２３をユーザが操作することによって、内視鏡装置３の各種動作を制御することができる。カードＩ／Ｆ３４ｆは、記録媒体である各種メモリカード５０を自由に着脱できるようになっている。メモリカード５０を装着することにより、ＣＰＵ３４ｃの制御によって、メモリカード５０に記憶されている画像情報等のデータを取り込み、あるいは画像情報等のデータをメモリカード５０に記録することができる。

本実施形態によるブレード検査システムの構成の変形例として、図３に示す構成を用いてもよい。本変形例では、内視鏡装置３にビデオ端子ケーブル４およびビデオキャプチャカード５が接続されており、これによって、内視鏡装置３が取り込んだ映像をＰＣ６（本発明の画像処理装置に対応）にも取り込ませることが可能となっている。ＰＣ６は、図３ではノート型ＰＣとして描かれているが、デスクトップ型のＰＣ等でもよい。ＰＣ６には、タービンブレード１０の３次元計測を行うための３Ｄ計測ソフトが記憶されている。

さらに、図３では、ＰＣ６への映像の取り込みにビデオ端子ケーブル４およびビデオキャプチャカード５を用いているが、図４に示すようにＬＡＮケーブル７を用いてもよい。内視鏡装置３は、取り込まれた映像をＬＡＮネットワーク上に展開することのできるネットワークＩ／Ｆ３４ｄを備えている。そして、ＬＡＮケーブル７を通じて、ＰＣ６に映像を取りませることができる。

図５はＰＣ６の構成を示している。ＰＣ６はＰＣ本体２４およびモニタ２５から構成されている。ＰＣ本体２４には、制御用コンピュータ３５が内蔵されている。制御用コンピュータ３５は、ＲＡＭ３５ａ、ＨＤＤ（ハードディスクドライブ）３５ｂ、ＣＰＵ３５ｃ、外部インターフェースとして、ネットワークＩ／Ｆ３５ｄ、ＵＳＢＩ／Ｆ３５ｅから構成されている。制御用コンピュータ３５はモニタ２５に接続されており、映像情報およびソフトウェアの画面等がモニタ２５に表示される。

ＲＡＭ３５ａは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ＨＤＤ３５ｂには、内視鏡装置を制御するために一連のソフトウェアが記憶されており、３Ｄ計測ソフトもＨＤＤ３５ｂ内に記憶される。また、本実施形態では、タービンブレード１０の画像を保存する保存用フォルダはＨＤＤ３５ｂ内に設定される。ＣＰＵ３５ｃは、ＨＤＤ３５ｂに記憶されているソフトウェアの命令コードに従って、ＲＡＭ３５ａに記憶されたデータを用いて各種制御のための演算等を実行する。

ネットワークＩ／Ｆ３５ｄは、内視鏡装置３とＰＣ６をＬＡＮケーブル７によって接続するためのインターフェースであり、内視鏡装置３からＬＡＮ出力された映像情報をＰＣ６に入力することができる。ＵＳＢＩ／Ｆ３５ｅは、内視鏡装置３とＰＣ６をビデオキャプチャカード５によって接続するためのインターフェースであり、内視鏡装置３からアナログビデオ出力された映像情報をＰＣ６に入力することができる。

図３および図４に示すブレード検査システムでは、図１に示すブレード検査システムと同様の効果を得ることができる。特に、内視鏡装置の性能がＰＣよりも劣っており、内視鏡装置の動作速度等が十分でない場合等に、図３および図４に示すブレード検査システムは有効である。

次に、３Ｄ計測ソフトの画面を説明する。図６は、３Ｄ計測ソフトのメインウィンドウを示している。図６に示すメインウィンドウ６００は、ユーザが３Ｄ計測ソフトを起動した際にモニタ２２に表示される。ＣＰＵ３４ｃは、３Ｄ計測ソフトに従って、メインウィンドウ６００内の各種ＧＵＩの操作に基づく処理を行う。

メインウィンドウ６００の表示は、ＣＰＵ３４ｃによる制御に従って行われる。ＣＰＵ３４ｃは、メインウィンドウ６００を表示するためのグラフィック画像信号（表示信号）を生成し、モニタ２２へ出力する。また、内視鏡装置３に取り込まれた映像（以下、計測画像と記載）をメインウィンドウ６００上に重畳表示する場合には、ＣＰＵ３４ｃは、画像信号処理装置３１から取り込んだ画像データをグラフィック画像信号に重畳する処理を行い、処理後の信号（表示信号）をモニタ２２へ出力する。

また、メインウィンドウ６００上のＧＵＩの表示状態を更新する場合、ＣＰＵ３４ｃは、更新後のメインウィンドウ６００に対応したグラフィック画像信号を生成し、上記と同様の処理を行う。メインウィンドウ６００以外のウィンドウの表示に係る処理も上記と同様である。以下、メインウィンドウ６００等を表示（更新も含む）するためにＣＰＵ３４ｃがグラフィック画像信号を生成する処理のことを、メインウィンドウ６００等を表示するための処理と記載する。

ユーザは、ＧＵＩ（グラフィカルユーザインタフェース）機能を利用して、リモコン２３を介してメインウィンドウ６００を操作し、メインウィンドウ６００に重畳表示されるカーソルＣを移動させ、クリック等の指示を入力することにより、メインウィンドウ６００の各種ＧＵＩの操作を行うことができる。以下、各種ＧＵＩの機能を説明する。

メインウィンドウ６００の右上部には、[ファイル選択]ボックス６１０が配置されている。また、メインウィンドウ６００の左上部には[計測画像]ボックス６１１が配置されている。[ファイル選択]ボックス６１０は、[計測画像]ボックス６１１に表示される計測画像の選択、および[計測画像]ボックス６１１に表示される３Ｄオブジェクトに対応したＣＡＤデータの選択を行うためのボックスである。

ＣＡＤデータは、ＣＡＤを利用して予め算出されたタービンブレード１０の３次元形状を表すデータである。ＣＡＤデータの形式には、ＳＴＬ（Standard Triangulated Language）形式等を用いる。３Ｄオブジェクトは、ＣＡＤデータの内容をもとに構築されたＣＧ物体である。[ファイル選択]ボックス６１０内のＧＵＩおよび操作の詳細については、記載しない。

[計測画像]ボックス６１１は、計測対象物であるタービンブレード１０を撮像して得られた計測画像ＩＭＧを表示し、計測画像ＩＭＧ上に３ＤオブジェクトＯＢの画像を重畳表示するためのボックスである。後述するように、ユーザは[計測画像]ボックス６１１の操作を行うことにより、カメラポーズの変更、参照点の指定等を行う。

メインウィンドウ６００の左下部には、[表示設定]ボックス６２０が配置されている。[表示設定]ボックス６２０内には、[計測画像]ボックス６１１に表示された３ＤオブジェクトＯＢの表示設定に関するＧＵＩが配置されている。[表示設定]ボックス６２０内の各ＧＵＩの機能は以下の通りである。

[透過率]バー６２１は、３Ｄオブジェクトの表示透過率を設定するためのバーである。[透過率]バー６２１は水平方向（横方向）に移動（スライド）可能になっており、ユーザが[透過率]バー６２１を移動させることで、３Ｄオブジェクトの表示透過率が変化する。

例えば、透過率が大きく設定された場合、３ＤオブジェクトＯＢは透明に近い透過率で表示され、透過率が小さく設定された場合、３ＤオブジェクトＯＢは透過されずに表示される。後述するように、[計測画像]ボックス６１１において、ユーザが計測画像ＩＭＧに参照点を指定する際には、３ＤオブジェクトＯＢの透過率を大きく設定することで、計測画像ＩＭＧを見やすくすると良い。また、ユーザが３ＤオブジェクトＯＢに参照点を指定する際には、３ＤオブジェクトＯＢの透過率を小さく設定することで、３ＤオブジェクトＯＢを見やすくすると良い。

[表示方法]ラジオボタン６２２は、３ＤオブジェクトＯＢの表示方法を設定するためのラジオボタンである。[表示方法]ラジオボタン６２２には、「シェーディング」と「ワイヤーフレーム」の２つの設定項目がある。「シェーディング」が選択された場合、３ＤオブジェクトＯＢは、ワイヤーフレームおよび表面が塗りつぶされた状態で表示され、「ワイヤーフレーム」が選択された場合、図６のように、３ＤオブジェクトＯＢはワイヤーフレームのみの状態で表示される。

[表示方法]ラジオボタン６２３は、３ＤオブジェクトＯＢの表示色を設定するためのラジオボタンである。[表示方法]ラジオボタン６２３には、「水色」と「黄色」の２つの設定項目がある。[表示方法]ラジオボタン６２３の設定によって、３ＤオブジェクトＯＢの表示色を切り替えることができる。

[移動方向]ラジオボタン６２４は、カメラポーズの移動方向を設定するためのラジオボタンである。カメラポーズは、３ＤオブジェクトＯＢの姿勢（ポーズ）、すなわち３ＤオブジェクトＯＢをどの方向、どの位置から見ているかを示すパラメータである。言い換えると、カメラポーズは、３ＤオブジェクトＯＢを撮像した仮想的なカメラ（以下、仮想カメラと記載）の姿勢を示すパラメータである。[移動方向]ラジオボタン６２４には、「パン/チルト」と「ロール/ズーム」の２つの設定項目がある。「パン/チルト」が選択された場合、[計測画像]ボックス６１１において、ユーザがカーソルＣを上下左右に移動させることで、カメラポーズをパン・チルト方向に回転させることができる。また、「ロール/ズーム」が選択された場合、同様の操作で、カメラポーズをロール・ズーム方向に回転させることができる。

[計測画像]ボックス６１１の下側には、[現在位置]ボックス６３０が配置されている。[現在位置]ボックス６３０は、カーソル位置における３ＤオブジェクトＯＢの表面座標をリアルタイムで表示するためのボックスである。３ＤオブジェクトＯＢの表面座標は空間座標系の座標としてｍｍ単位で示される。[計測画像]ボックス６１１において、ユーザがカーソルＣを移動させることで、[現在位置]ボックス６３０の値もリアルタイムに変更される。例えば、カーソルＣが３ＤオブジェクトＯＢ上に位置する場合、３ＤオブジェクトＯＢの表面座標が算出され、[現在位置]ボックス６３０に表示される。カーソルＣが３ＤオブジェクトＯＢ上に位置しない場合は、[現在位置]ボックス６３０に「ｎｕｌｌ」と表示される。３ＤオブジェクトＯＢの表面座標の算出方法については、図２１〜図２４を用いて後述する。

[現在位置]ボックス６３０の下側には、[カメラポーズ]ボックス６４０が配置されている。[カメラポーズ]ボックス６４０は、カメラポーズをリアルタイムで表示するためのボックスである。ユーザがカメラポーズを変更することで、[カメラポーズ]ボックス６４０の値がアルタイムに変更される。カメラポーズは、空間座標系の座標としてｍｍ単位で示される。

[カメラポーズ]ボックス６４０の右側には、[シフト位置]ボックス６５０が配置されている。[シフト位置]ボックス６５０は、[計測画像]ボックス６１１における３ＤオブジェクトＯＢのシフト位置を表示するためのボックスである。３ＤオブジェクトＯＢのシフト位置は、平面座標系の座標としてｐｉｘｅｌ単位で示される。

３ＤオブジェクトＯＢは[計測画像]ボックス６１１の中央部に表示されており、カメラポーズが変更されても表示位置は変化しない。しかし、計測画像ＩＭＧに写った被検体は、必ずしも画像の中央部に位置しているわけではない。そのため、計測画像ＩＭＧと３Ｄオブジェクト３Ｄとをマッチングさせる処理である３Ｄマッチング処理の実行後、３ＤオブジェクトＯＢは[計測画像]ボックス６１１の中央部ではなく、計測画像に写った被検体の上に位置しているべきである。

上記のシフト位置は、[計測画像]ボックス６１１の中央部からの３ＤオブジェクトＯＢの相対位置を示している。以下、平面座標系におけるシフト位置の移動方向をシフト方向と記載する。ユーザが手動で任意にシフト位置を変更することはできない。シフト位置は、３Ｄマッチング処理の実行後に、ＣＰＵ３４ｃが算出するものである。

[ファイル選択]ボックス６１０の下側には、[マッチング/計測]ボックス６６０が配置されている。[マッチング/計測]ボックス６６０内には、３Ｄマッチング処理および計測に関するＧＵＩが配置されている。[マッチング/計測]ボックス６６０内の各ＧＵＩの機能は以下の通りである。

[カメラポーズ]ボタン６６１ａは、カメラポーズを変更するためのボタンである。[カメラポーズ]ボタン６６１ａが押下された後、[計測画像]ボックス６１１ａにおいて、ユーザがカーソルＣを上下左右に移動させることで、カメラポーズが変更可能となる。また、[カメラポーズ]ボタン６６１ａの右側には、[リセット]ボタン６６１ｂが配置されており、[リセット]ボタン６６１ｂが押下されると、カメラポーズが初期値に設定される。

[参照点（計測）]ボタン６６２ａは、計測画像ＩＭＧの参照点（計測）を指定するためのボタンである。参照点（計測）とは、ＣＰＵ３４ｃが３Ｄマッチング処理を実行する際の基準となる計測画像ＩＭＧ上の点のことである。[参照点（計測）]ボタン６６２ａが押下された後、[計測画像]ボックス６１１において、ユーザがカーソルＣを移動させて、指定したい位置でクリック等を行うことで、計測画像ＩＭＧに写った被検体に対して参照点（計測）を指定することができる。参照点（計測）は、平面座標系の座標としてｐｉｘｅｌ単位で示される。また、[参照点（計測）]ボタン６６２ａが押下されると、３ＤオブジェクトＯＢの表示透過率が自動的に大きく設定され、計測画像ＩＭＧが見やすい状態となる。また、[参照点（計測）]ボタン６６２ａの右側には、[クリア]ボタン６６２ｂが配置されており、[クリア]ボタン６６２ｂが押下されると、既に指定された参照点（計測）が全てクリアされ、指定前の状態となる。

[参照点（３Ｄ）]ボタン６６３ａは、３ＤオブジェクトＯＢの参照点（３Ｄ）を指定するためのボタンである。参照点（３Ｄ）とは、参照点（計測）と同様に、ＣＰＵ３４ｃが３Ｄマッチング処理を実行する際の基準となる３Ｄオブジェクト上の点である。[参照点（３Ｄ）]ボタン６６３ａが押下された後、[計測画像]ボックス６１１において、ユーザがカーソルＣを移動させて、参照点（３Ｄ）を指定したい位置でクリック等の操作を行うことで、３ＤオブジェクトＯＢに対して参照点（３Ｄ）を指定することができる。参照点（３Ｄ）は、空間座標系の座標としてｍｍ単位で示される。また、[参照点（３Ｄ）]ボタン６６３ａが押下された後、３ＤオブジェクトＯＢの表示透過率が自動的に小さく設定され、３ＤオブジェクトＯＢが見やすい状態となる。また、[参照点（３Ｄ）]ボタン６６３ａの右側には、[クリア]ボタン６６３ｂが配置されており、[クリア]ボタン６６３ｂが押下されると、既に指定された参照点（３Ｄ）が全てクリアされ、指定前の状態となる。

[３Ｄマッチング]ボタン６６４は、３Ｄマッチング処理を実行するためのボタンである。[３Ｄマッチング]ボタン６６４が押下された後、ユーザが指定した２組の参照点（参照点（計測）と参照点（３Ｄ））に基づいて、ＣＰＵ３４ｃは３Ｄマッチング処理を実行する。このとき、ＣＰＵ３４ｃは、２組の参照点の位置がそれぞれ一致するように、３Ｄマッチング処理を行うことになる。３Ｄマッチング処理の結果、計測画像ＩＭＧ内の被検体と３ＤオブジェクトＯＢとがほぼ一致するように表示され、計測画像ＩＭＧ内の被検体と３ＤオブジェクトＯＢが計測に適した状態となる。

[計測]ボタン６６５ａは、計測処理を行うためのボタンである。 [計測]ボタン６６５ａが押下された後、後述するように計測ウィンドウが表示され、３ＤオブジェクトＯＢに対して計測処理を行うことができる。

メインウィンドウ６００の右下部には、[終了]ボタン６８０が配置されている。[終了]ボタン６８０は、３Ｄ計測ソフトを終了するためのボタンである。[終了]ボタン６８０が押下されると、全てのソフト動作が終了し、メインウィンドウ６００が閉じる（非表示となる）。

次に、図７を用いて、３Ｄオブジェクトとカメラポーズとの関係について説明する。図７に示すように、実空間に対応する仮想的な空間上に３ＤオブジェクトＯＢ１および視点７００がある。３ＤオブジェクトＯＢ１の位置は固定されているが、視点７００の位置はユーザによって自由に変更される。３ＤオブジェクトＯＢ１の重心位置には視線中心７０１があり、視点７００から視線方向７０２に伸びる直線は、常にこの視線中心７０１を向いている。視線中心７０１の位置は固定されている。視点７００は、３ＤオブジェクトＯＢ１を撮像する仮想カメラの位置に相当し、視線方向７０２は仮想カメラの撮像方向（光軸方向）に相当する。

３ＤオブジェクトＯＢ１と視点７００との間には、矩形状の仮想的な平面であるスクリーン平面７０３がある。スクリーン平面７０３は[計測画像]ボックス６１１に相当するものである。スクリーン平面７０３の縦方向および横方向のサイズは固定値である。３ＤオブジェクトＯＢ１をスクリーン平面７０３に投影した投影像が、[計測画像]ボックス６１１に表示される３ＤオブジェクトＯＢである。

スクリーン平面７０３は、視線方向７０２と常に垂直であり、視点７００から視線方向７０２に伸びる直線は、常にスクリーン平面７０３の中心７０４を通る。視点７００からスクリーン平面７０３の中心７０４までの距離７０６は固定値であるが、視点７００から視線中心７０１までの距離は、ユーザによって自由に変更される。

スクリーン平面７０３の向いている方向は、上方向ベクトル７０５によって示される。この上方向ベクトル７０５は、スクリーン平面７０３と平行であり、スクリーン平面７０３の上方向がどの方向かを表す単位ベクトルである。

図７に示した項目のうち、カメラポーズを構成するパラメータは、視点位置、視線中心位置、上方向ベクトルの３つである。以下では、図８〜図１０を用いて、カメラポーズを変更したときの３Ｄオブジェクトとカメラポーズとの関係について説明する。

図８（ａ）は、カメラポーズをパン・チルト方向に変更した場合の３Ｄオブジェクトとカメラポーズとの関係を示している。パン方向とは、視点８００から視線中心８０１までの距離を固定したまま、視点８００を上方向ベクトル８０２と垂直に移動させた場合の方向（パン方向８０３）である。チルト方向とは、視点８００から視線中心８０１までの距離を固定したまま、視点８００を上方向ベクトル８０２と平行に移動させた場合の方向（チルト方向８０４）である。図８（ａ）のように、カメラポーズをパン・チルト方向に変更すると、図８（ｂ）のように、スクリーン平面８０５に投影される３ＤオブジェクトＯＢは、上下左右の各方向に回転することがわかる。

図９（ａ）は、カメラポーズをロール方向に変更した場合の３Ｄオブジェクトとカメラポーズとの関係を示している。ロール方向とは、視点９００の位置を固定したまま、視点９００から視点中心９０１に向かう視点方向９０２の軸を中心に、スクリーン平面９０３を回転させた場合の方向（ロール方向９０４）である。図９（ａ）のように、カメラポーズをロール方向に変更すると、図９（ｂ）のように、スクリーン平面９０３に投影される３ＤオブジェクトＯＢは、スクリーン平面９０３の中心を軸として回転することがわかる。

図１０（ａ）は、カメラポーズをズーム方向に変更した場合の３Ｄオブジェクトとカメラポーズとの関係を示している。ズーム方向とは、上方向ベクトル１０００を固定したまま、視点１００１を視線方向１００２と平行に移動させた場合の方向（ズーム方向１００３）である。図１０（ａ）のように、カメラポーズをズーム方向に変更すると、図１０（ｂ）のように、スクリーン平面１００４に投影される３ＤオブジェクトＯＢは、拡大・縮小することがわかる。

上記の説明の通り、カメラポーズが変更されると、スクリーン平面の位置・方向が変化する。それに伴い、スクリーン平面に投影される３Ｄオブジェクトの表示も変化し、その結果、[計測画像]ボックス６１１に表示される３Ｄオブジェクトの表示も変化することになる。ＣＰＵ３４ｃは、ユーザによってリモコン２３を介して入力されるカメラポーズの変更指示を検出し、その変更指示に応じて、３Ｄオブジェクトを[計測画像]ボックス６１１に表示するための処理を行う。

次に、３Ｄ計測ソフトの動作の流れを説明する。以下では、メインウィンドウ６００における全てのＧＵＩに関する動作ではなく、一部のＧＵＩに関する動作のみ説明するものとする。具体的には、[計測画像]ボックス６１１、[カメラポーズ]ボタン６６１ａ、[参照点（計測）]ボタン６６２ａ、[参照点（３Ｄ）]ボタン６６３ａ、[３Ｄマッチング]ボタン６６４、[計測]ボタン６６５ａ、 [終了]ボタン６８０に関する動作は説明するが、その他のＧＵＩに関する動作の説明は行わない。

図１１は３Ｄ計測ソフトの動作の流れを示している。ステップＳＡでは、ＣＰＵ３４ｃが３Ｄ計測ソフトを起動する。具体的には、ユーザがリモコン２３を介して入力した起動指示に基づいて、ＣＰＵ３４ｃは、ＲＯＭ３４ｂに格納されている３Ｄ計測ソフトをＲＡＭ３４ａに読み込み、３Ｄ計測ソフトに従った動作を開始する。ステップＳＢでは、ＣＰＵ３４ｃが、メインウィンドウ６００を表示するための処理を行う。

ステップＳＣでは、ＣＰＵ３４ｃが初期化処理を行う。初期化処理とは、メインウィンドウ６００内の各種ＧＵＩの初期状態を設定したり、ＲＡＭ３４ａに記録された各種データの初期値を設定したりする処理である。初期化処理の詳細については、後述する。

ステップＳＤでは、ＣＰＵ３４ｃがカメラポーズ設定処理を行う。カメラポーズ設定処理とは、ユーザが入力した、カメラポーズを変更する指示に基づいて、[計測画像]ボックス６１１の計測画像内の被検体と３Ｄオブジェクトとを大まかにマッチングさせる処理である。カメラポーズ設定処理の詳細については、後述する。

ステップＳＥでは、ＣＰＵ３４ｃが参照点（計測）指定処理を行う。参照点（計測）指定処理とは、ユーザが入力した、[計測画像]ボックス６１１の計測画像に写った被検体上の位置を指定する指示に基づいて、参照点を指定（設定）する処理である。参照点（計測）指定処理の詳細については、後述する。

ステップＳＦでは、ＣＰＵ３４ｃが参照点（３Ｄ）指定処理を行う。参照点（３Ｄ）指定処理とは、ユーザが入力した、[計測画像]ボックス６１１の３Ｄオブジェクト上の位置を指定する指示に基づいて、参照点を指定（設定）する処理である。参照点（３Ｄ）指定処理の詳細については、後述する。

ステップＳＧでは、ＣＰＵ３４ｃが３Ｄマッチング処理を行う。３Ｄマッチング処理とは、ユーザが指定した２組の参照点（参照点（計測）・参照点（３Ｄ））に基づいて、[計測画像]ボックス６１１に表示された計測画像と３Ｄオブジェクトとをマッチングさせる処理である。３Ｄマッチング処理の詳細については、後述する。

ステップＳＨでは、ＣＰＵ３４ｃが計測処理を行う。計測処理とは、ユーザが入力した、[計測画像]ボックス６１１の３Ｄオブジェクト上の位置を指定する指示に基づいて、参照点を指定（設定）し、指定した参照点に基づいて、被検体のサイズを算出する処理である。計測処理の詳細については、後述する。

ステップＳＩでは、ＣＰＵ３４ｃが、ユーザによって[終了]ボタン６８０が押下されたかどうかを確認する。ユーザが[終了]ボタン６８０を押下した場合、処理はステップＳＪに移行する。また、ユーザが[終了]ボタン６８０を押下しなかった場合、処理はステップＳＤに移行する。ステップＳＪでは、ＣＰＵ３４ｃがメインウィンドウ６００を非表示とし、３Ｄ計測ソフトの動作を終了する。

次に、図１２を用いて、ステップＳＣの初期化処理の動作の流れを説明する。ステップＳＣ１では、ＣＰＵ３４ｃが、メモリカード５０に記録された所定の計測画像ファイルおよびＣＡＤデータをＲＡＭ３４ａに読み込む。ステップＳＣ２では、ＣＰＵ３４ｃが、読み込まれたＣＡＤデータに基づいて、カメラポーズ（初期値）を算出する。

カメラポーズのうち、視点位置については、図１３のように、ＣＰＵ３４ｃは空間座標系の原点の座標（ｘ，ｙ，ｚ）＝（０，０，０）を初期値（視点１３００）とする。カメラポーズのうち、視線中心位置については、図１３のように、ＣＰＵ３４ｃは、ＣＡＤデータにおける全ての空間座標の重心位置を算出し、その座標を初期値（視点中心１３０１）とする。この視線中心位置は、ＣＡＤデータごとに固有の値であり、この後、カメラポーズが変更されても、この値が変化することはない。カメラポーズのうち、上方向ベクトルについては、図１３のように、ＣＰＵ３４ｃは、視点１３００と視線中心１３０１を結ぶ直線と直交する単位ベクトルのうち、スクリーン平面の縦辺に平行な単位ベクトルを初期値（上方向ベクトル１３０２）とする。

ステップＳＣ３では、ＣＰＵ３４ｃが、ステップＳＣ２で算出したカメラポーズ（初期値）をカレントカメラポーズとしてＲＡＭ３４ａに記録する。カレントカメラポーズとは、現在設定されているカメラポーズのことであり、３Ｄオブジェクトは、このカレントカメラポーズに基づいて表示されることになる。

ステップＳＣ４では、ＣＰＵ３４ｃが、図１４のように[計測画像]ボックス６１１に計測画像ＩＭＧを表示し、さらにその上に３ＤオブジェクトＯＢを所定の透過率で重畳表示するための処理を実行する。このとき、３ＤオブジェクトＯＢは、算出されたカメラポーズ（初期値）に基づいて、スクリーン平面に投影された平面図として表示される。ステップＳＣ４の処理が終了すると、初期化処理が終了する。

次に、図１５を用いて、ステップＳＤのカメラポーズ設定処理の流れを説明する。ステップＳＤ１では、ＣＰＵ３４ｃが、[カメラポーズ]ボタン６６１ａが既に押下された状態（ステップＳＤ３の処理が既に行われた状態）であるかどうかを確認する。[カメラポーズ]ボタン６６１ａが押下された状態である場合、処理はステップＳＤ４に移行し、[カメラポーズ]ボタン６６１ａが押下された状態でない場合、処理はステップＳＤ２に移行する。

ステップＳＤ２では、ＣＰＵ３４ｃが、[カメラポーズ]ボタン６６１ａがユーザによって押下されたかどうかを確認する。[カメラポーズ]ボタン６６１ａが押下された場合、処理はステップＳＤ３に移行し、[カメラポーズ]ボタン６６１ａが押下されていない場合、カメラポーズ設定処理が終了する。

ステップＳＤ３では、ＣＰＵ３４ｃが、図１６（ａ）のように[カメラポーズ]ボタン６６１ａを強調表示するための処理を行う。[カメラポーズ]ボタン６６１ａを強調表示するのは、現在、カメラポーズが変更可能であることをユーザに通知するためである。

ステップＳＤ４では、ＣＰＵ３４ｃが、図１６（ｂ）のように、[計測画像]ボックス６１１において、ユーザがリモコン２３を操作してカーソルＣによりクリック等を行いながらカーソルＣを上下左右に移動させる操作（ドラッグ操作）を検出し、カーソルＣの操作を検出した結果に基づいてカメラポーズを変更する。このとき、ユーザは、計測画像に写った被検体ＤＵＴと３ＤオブジェクトＯＢとが大まかにマッチングするように、カメラポーズを変更する。カメラポーズは、前述したパン・チルト・ロール・ズームの方向に変更可能である。また、このとき、ＣＰＵ３４ｃは、リモコン２３を介して入力されるカーソルＣの操作指示を検出し、その操作指示に基づいて、変更後のカメラポーズを算出する。

ステップＳＤ５では、ＣＰＵ３４ｃが変更後のカメラポーズをカレントカメラポーズとしてＲＡＭ３４ａに上書き記録する。ステップＳＤ６では、ＣＰＵ３４ｃが、カレントカメラポーズに基づいて、３Ｄオブジェクトを再表示するための処理を行う。これによって、図１６（ｃ）のように、カメラポーズが変更された３ＤオブジェクトＯＢが[計測画像]ボックス６１１に表示される。ステップＳＤ６の処理が終了すると、カメラポーズ設定処理が終了する。

次に、図１７を用いて、ステップＳＥの参照点（計測）指定処理の流れを説明する。ステップＳＥ１では、ＣＰＵ３４ｃが、[参照点（計測）]ボタン６６２ａが既に押下された状態（ステップＳＥ３，ＳＥ４の処理が既に行われた状態）であるかどうかを確認する。[参照点（計測）]ボタン６６２ａが押下された状態である場合、処理はステップＳＥ５に移行し、[参照点（計測）]ボタン６６２ａが押下された状態でない場合、処理はステップＳＥ２に移行する。

ステップＳＥ２では、ＣＰＵ３４ｃが、[参照点（計測）]ボタン６６２ａがユーザによって押下されたかどうかを確認する。[参照点（計測）]ボタン６６２ａが押下された場合、処理はステップＳＥ３に移行し、押下されていない場合、参照点（計測）指定処理が終了する。

ステップＳＥ３では、ＣＰＵ３４ｃが、図１８（ａ）のように、[参照点（計測）]ボタン６６２ａを強調表示するための処理を行う。[参照点（計測）]ボタン６６２ａを強調表示するのは、現在、計測画像に対して参照点が指定可能であることをユーザに通知するためである。

ステップＳＥ４では、ＣＰＵ３４ｃが、図１８（ｂ）のように、３ＤオブジェクトＯＢの透過率を変更し、変更後の透過率で３ＤオブジェクトＯＢを再表示するための処理を行う。ここで設定される透過率は大きな値であり、３ＤオブジェクトＯＢは透明に近い状態となり、計測画像が見やすい状態となる。なお、特に図示していないが、既に指定した参照点（３Ｄ）が存在する場合は、３ＤオブジェクトＯＢが一旦非表示となる。これも、計測画像を見やすい状態とするためである。

ステップＳＥ５では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、計測画像に写った被検体ＤＵＴに対して参照点（計測）を指定するためにユーザがリモコン２３を操作してカーソルＣによりクリック等を行う操作を検出し、カーソルＣの操作を検出した結果に基づいて、指定された参照点の座標を算出する。このとき算出される参照点（計測）の座標は、計測画像における平面座標（ｐｉｘｅｌ単位）である。

ステップＳＥ６では、ＣＰＵ３４ｃが、指定された参照点（計測）の座標をＲＡＭ３４ａに記録する。ステップＳＥ７では、ＣＰＵ３４ｃが、指定された参照点（計測）を計測画像上に重畳表示するための処理を行う。これによって、図１８（ｃ）のように、参照点（計測）Ｒ１，Ｒ２，Ｒ３が計測画像上に重畳表示される。ステップＳＥ７の処理が終了すると、参照点（計測）指定処理が終了する。

次に、図１９を用いて、ステップＳＦの参照点（３Ｄ）指定処理の流れを説明する。ステップＳＦ１では、ＣＰＵ３４ｃが、[参照点（３Ｄ）]ボタン６６３ａが既に押下された状態（ステップＳＦ３，ＳＦ４が既に行われた状態）であるかどうかを確認する。[参照点（３Ｄ）]ボタン６６３ａが押下された状態である場合、処理はステップＳＦ５に移行し、[参照点（３Ｄ）]ボタン６６３ａが押下されていない状態でない場合、処理はステップＳＦ２に移行する。

ステップＳＦ２では、ＣＰＵ３４ｃが、[参照点（３Ｄ）]ボタン６６３ａがユーザによって押下されたかどうかを確認する。[参照点（３Ｄ）]ボタン６６３ａが押下された場合、処理はステップＳＦ３に移行し、[参照点（３Ｄ）]ボタン６６３ａが押下されていない場合、参照点（３Ｄ）指定処理が終了する。

ステップＳＦ３では、ＣＰＵ３４ｃが、図２０（ａ）のように、[参照点（３Ｄ）]ボタン６６３ａを強調表示するための処理を行う。[参照点（３Ｄ）]ボタン６６３ａを強調表示するのは、現在、３Ｄオブジェクトに対して参照点が指定可能であることをユーザに通知するためである。

ステップＳＦ４では、ＣＰＵ３４ｃが、図２０（ｂ）のように、３ＤオブジェクトＯＢの透過率を変更し、変更後の透過率で３ＤオブジェクトＯＢを再表示するための処理を行う。ここで設定される透過率は小さな値であり、３ＤオブジェクトＯＢが見やすい状態となる。このとき、特に図示していないが、既に指定した参照点（計測）が存在する場合は、計測画像が一旦非表示となる。これも、３ＤオブジェクトＯＢを見やすい状態とするためである。

ステップＳＦ５では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、計測画像に写った被検体ＤＵＴに対して参照点（３Ｄ）を指定するためにユーザがリモコン２３を操作してカーソルＣによりクリック等を行う操作を検出し、カーソルＣの操作を検出した結果に基づいて、指定された参照点の座標を算出する。このとき算出される参照点（３Ｄ）の座標は、３Ｄオブジェクト表面における空間座標（ｍｍ単位）であり、ＣＰＵ３４ｃは、まず指定された参照点の平面座標（ｐｉｘｅｌ単位）を算出し、続いて、算出した平面座標から空間座標（ｍｍ単位）を算出する。

ユーザが指定する参照点（３Ｄ）と、既に指定された参照点（計測）とが、それぞれ対応付けられていなくてはならない。本実施形態では、ＣＰＵ３４ｃは、ユーザが参照点（計測）を指定した順番と、参照点（３Ｄ）を指定した順番とに基づいて、参照点（３Ｄ）と参照点（計測）とを対応付けるものとする。より具体的には、ＣＰＵ３４ｃは、参照点（計測）のうち最初に指定された点と参照点（３Ｄ）のうち最初に指定された点とを対応付け、参照点（計測）のうち２番目に指定された点と参照点（３Ｄ）のうち２番目に指定された点とを対応付け、・・・、参照点（計測）のうちｎ番目に指定された点と参照点（３Ｄ）のうちｎ番目に指定された点とを対応付ける。上記の方法は一例であり、これに限るわけではない。

図１８（ｃ）に示すように、被検体ＤＵＴの左上の参照点（計測）Ｒ１、右上の参照点（計測）Ｒ２、右下の参照点（計測）Ｒ３が指定されている。参照点（計測）の指定が終了した後、ユーザは、被検体ＤＵＴ上の参照点（計測）に対応する３ＤオブジェクトＯＢ上の参照点（３Ｄ）を、参照点（計測）を指定したときと同じ順番で指定する。図２０（ｃ）に示すように、被検体ＤＵＴ上の参照点（計測）Ｒ１，Ｒ２，Ｒ３に対応する３Ｄオブジェクト上の位置に参照点（計測）Ｒ１’，Ｒ２’，Ｒ３’が指定されている。

ステップＳＦ６では、ＣＰＵ３４ｃが、指定された参照点（３Ｄ）の座標をＲＡＭ３４ａに記録する。ステップＳＦ７では、ＣＰＵ３４ｃが、指定された参照点（３Ｄ）を３Ｄオブジェクト上に重畳表示するための処理を行う。これによって、図２０（ｃ）のように、参照点（３Ｄ）Ｒ１’，Ｒ２’，Ｒ３’が３ＤオブジェクトＯＢ上に重畳表示される。ステップＳＦ７の処理が終了すると、参照点（３Ｄ）指定処理が終了する。

なお、ＣＰＵ３４ｃが、指定された参照点（３Ｄ）の座標をＣＡＤデータに記録してもよいし、ＣＡＤデータと紐付けされた（関連付けられた）別のファイルに記録してもよい。これによって、再度ステップＳＣ１にて同じＣＡＤデータを読み出した場合、ステップＳＦ１〜ステップＳＦ５の処理を省略することができる。また、参照点（３Ｄ）は必ずしもステップＳＦにおいて指定されるべきものではなく、予め内視鏡装置３またはＰＣ６等によって、ＣＡＤデータに記録されていてもよいし、ＣＡＤデータと紐付けされた（関連付けられた）別のファイルに記録されていてもよい。

次に、図２１〜図２４を用いて、指定された参照点（３Ｄ）の、３Ｄオブジェクト表面における空間座標（３次元座標）の算出方法について説明する。図２１は、３次元空間における３Ｄオブジェクトの一部と視点Ｅとの関係を示している。

３Ｄオブジェクトは、複数の三角形の空間平面から構成されている。視点Ｅから３Ｄオブジェクトの重心点Ｇへ向かう方向を視線方向とする。視点Ｅと３Ｄオブジェクトとの間には、視線方向と垂直に交わるスクリーン平面ＳＣが設定されている。

ユーザが[計測画像]ボックス６１１における３Ｄオブジェクト上の参照点（３Ｄ）を指定すると、ＣＰＵ３４ｃは、図２２のように、スクリーン平面ＳＣ上に参照点Ｓを設定する。参照点Ｓと視点Ｅとを通る空間直線を直線Ｌとする。そして、ＣＰＵ３４ｃは、３Ｄオブジェクトを構成する複数の三角形の中から、直線Ｌと交差する全ての三角形を検索する。直線と空間三角形とが交差するかどうかを判定する方法として、例えばTomas Mollerの交差判定法を用いることが可能である。この例では、図２３のように、三角形Ｔ１，Ｔ２が、直線Ｌと交差する三角形であると判定される。

そして、図２４のように、ＣＰＵ３４ｃは、直線Ｌと三角形Ｔ１，Ｔ２との交点を算出し、算出したそれぞれの交点を交点Ｆ１，Ｆ２とする。ここでは、３Ｄオブジェクト表面における空間座標を算出したいので、ＣＰＵ３４ｃは、交点Ｆ１，Ｆ２のうち、より視点Ｅに近い方を選択する。この場合、ＣＰＵ３４ｃは、交点Ｆ１の空間座標を、３Ｄオブジェクト表面における空間座標として算出する。上記では、直線Ｌと交差すると判定された三角形を２つのみとしたが、３Ｄオブジェクトの形状や視線方向によっては、より多くの三角形が交差すると判定される場合もある。その場合も、直線Ｌと三角形との交点をそれぞれ求め、求めた交点の中で、最も視点Ｅに近い交点を選択することになる。

上記のようにして、参照点（３Ｄ）の空間座標を算出することができる。後述する計測処理で指定される参照点の空間座標も上記と同様にして算出することができる。

次に、図２５を用いて、ステップＳＧの３Ｄマッチング処理の流れを説明する。ステップＳＧ１では、ＣＰＵ３４ｃが、[３Ｄマッチング]ボタン６６４がユーザによって押下されたかどうかを確認する。[３Ｄマッチング]ボタン６６４が押下された場合、処理はステップＳＧ２に移行し、[３Ｄマッチング]ボタン６６４が押下されていない場合、３Ｄマッチング処理が終了する。

ステップＳＧ２では、ＣＰＵ３４ｃが、全ての参照点が既に指定済みであるどうかを確認する。具体的には、ＣＰＵ３４ｃは、参照点（計測）および参照点（３Ｄ）が、それぞれ３点ずつ、既に指定済みであるかどうかを確認する。全ての参照点が指定済みの場合、処理はステップＳＧ３に移行し、参照点が指定済みでない場合、３Ｄマッチング処理が終了する。ステップＳＧ３では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録された全ての参照点の座標を読み込む。

ステップＳＧ４では、ＣＰＵ３４ｃが、指定された参照点の座標に基づいて、パン・チルト方向のマッチング処理を行う。パン・チルト方向のマッチング処理の詳細については、後述する。ステップＳＧ５では、ＣＰＵ３４ｃが、指定された参照点の座標に基づいて、ロール方向のマッチング処理を行う。ロール方向のマッチング処理の詳細については、後述する。

ステップＳＧ６では、ＣＰＵ３４ｃが、指定された参照点の座標に基づいて、ズーム方向のマッチング処理を行う。ズーム方向のマッチング処理の詳細については、後述する。ステップＳＧ７では、ＣＰＵ３４ｃが、指定された参照点の座標に基づいて、シフト方向のマッチング処理を行う。シフト方向のマッチング処理の詳細については、後述する。

ステップＳＧ８では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、３Ｄオブジェクトを再表示するための処理を行う。このとき、３Ｄオブジェクトは、ステップＳＧ４〜ＳＧ７において最終的に算出されたカメラポーズおよびシフト位置に基づいて、姿勢および位置が調整されて表示される。図２６は、マッチング処理後の計測画像に写った被検体と３Ｄオブジェクトを示している。図２６のように、計測画像に写った被検体と３Ｄオブジェクトとが、ほぼ一致していること、すなわち、両者がうまくマッチングしていることがわかる。ステップＳＧ８の処理が終了すると、３Ｄマッチング処理が終了する。上記の３Ｄマッチング処理を行うによって、被検体を撮像したカメラ（内視鏡装置３）の姿勢に近づくように、３Ｄオブジェクトを撮像した仮想カメラの姿勢を調整することができる。すなわち、計測画像中の被検体の姿勢に近づくように３Ｄオブジェクトの姿勢を調整することができ、被検体と３Ｄオブジェクトをマッチングさせることができる。

次に、図２７を用いて、ステップＳＧ４のパン・チルト方向のマッチング処理の流れを説明する。パン・チルト方向のマッチング処理の目的は、参照点（計測）によって構成される３角形と、参照点（３Ｄ）をスクリーン平面に降ろした投影点によって構成される３角形とが最も相似に近くなるカメラポーズを見つける、ということである。これらの３角形が相似に近い場合、計測画像に写った被検体が撮像されたときの視線のパン・チルト方向と、３Ｄオブジェクトを観察する視線のパン・チルト方向とが、ほぼ一致しているということができる。

以下、図２８（ａ）のように、参照点（３Ｄ）Ｒ１’〜Ｒ３’をスクリーン平面３１００に降ろした投影点Ｒｐ１’〜Ｒｐ３’を投影点（３Ｄ）と記載する。さらに、図２８（ｂ）のように、参照点（計測）Ｒ１〜Ｒ３によって構成される３角形３１０２を参照図形（計測）と記載し、図２８（ａ）のように、投影点（３Ｄ）Ｒｐ１’〜Ｒｐ３’によって構成される３角形３１０１を参照図形（３Ｄ）と記載する。

ステップＳＧ４０１では、ＣＰＵ３４ｃが頂点角（計測）を算出し、算出した頂点角（計測）をＲＡＭ３４ａに記録する。頂点角（計測）とは、図２９（ａ）のように、参照図形（計測）３２００の３つの頂点Ｒ１〜Ｒ３の角度Ａ１〜Ａ３である。

ステップＳＧ４０２では、ＣＰＵ３４ｃが、カメラポーズをパン・チルト方向にそれぞれ−３１ｄｅｇ回転させる。ステップＳＧ４０３〜ＳＧ４０７において繰り返し処理が行われるが、これは、図２９（ｂ）のように、カメラポーズをパン・チルト方向に回転させながら、頂点角（３Ｄ）を順次算出するためである。頂点角（３Ｄ）とは、図２９（ｂ）のように、参照図形（３Ｄ）３２０１の３つの投影点（３Ｄ）Ｒｐ１’〜Ｒｐ３’の角度Ａ１’〜Ａ３’である。

前述したように、参照点（計測）と参照点（３Ｄ）は、各参照点が指定された順番によって対応付けられており、角度Ａ１〜Ａ３と角度Ａ１’〜Ａ３も、この順番によって対応付けられている。図２９では、角度Ａ１と角度Ａ１’が対応付けられ、角度Ａ２と角度Ａ２’が対応付けられ、角度Ａ３と角度Ａ３’が対応付けられている。

ステップＳＧ４０３では、ＣＰＵ３４ｃが、カメラポーズをパン方向に＋１ｄｅｇ回転させる。そして、ステップＳＧ４０３〜ＳＧ４０７では、カメラポーズのパン方向の回転角度が＋３０ｄｅｇとなるまでＣＰＵ３４ｃが繰り返し処理を行う。ＣＰＵ３４ｃは、カメラポーズをパン方向に−３０ｄｅｇから＋３０ｄｅｇとなるまで＋１ｄｅｇずつ回転させるので、結果としてステップＳＧ４０３〜ＳＧ４０７の一連の処理を６１回繰り返すことになる。

ステップＳＧ４０４では、ＣＰＵ３４ｃが、カメラポーズをチルト方向に＋１ｄｅｇ回転させる。そして、ステップＳＧ４０４〜ＳＧ４０７では、カメラポーズのチルト方向の回転角度が＋３０ｄｅｇとなるまでＣＰＵ３４ｃが繰り返し処理を行う。ＣＰＵ３４ｃは、カメラポーズをチルト方向に−３０ｄｅｇから＋３０ｄｅｇとなるまで＋１ｄｅｇずつ回転させるので、結果としてステップＳＧ４０４〜ＳＧ４０７の処理を６１回繰り返すことになる。なお、ステップＳＧ４０３〜ＳＧ４０７の繰り返し処理において、カメラポーズを−３０ｄｅｇから＋３０ｄｅｇとなるまで回転させているが、カメラポーズを回転させる範囲は必ずしもこの範囲である必要はない。

ステップＳＤのカメラポーズ設定処理において、ユーザがカメラポーズを変更する際、計測画像に写った被検体と３Ｄオブジェクトとをどの程度までマッチングさせるかによって、ステップＳＧ４０３〜ＳＧ４０７の繰り返し処理において、カメラポーズを回転させるのに必要な範囲が変わることになる。範囲が広い場合、ユーザは大まかなマッチングさえ行えば良いが、その代わり、３Ｄマッチングの処理時間が長くなる。範囲が狭い場合、３Ｄマッチングの処理時間が短くて済むが、その代わり、ユーザはある程度詳細にマッチングを行う必要がある。

ステップＳＧ４０５では、ＣＰＵ３４ｃが、現在のパン・チルト方向の回転角度をＲＡＭ３４ａに記録する。図３０は、ＲＡＭ３４ａに記録される回転角度を示している。ステップＳＧ４０５では、ＣＰＵ３４ｃは、回転角度をＲＡＭ３４ａに上書き記録するのではなく、カメラポーズをパン・チルト方向に回転するたびに、図３０（ａ）のように、ＲＡＭ３４ａに用意されたデータリストに現在のパン・チルト方向の回転角度を１行ずつ追加記録していく。このデータリストには、後述するように、パン・チルト方向の回転角度と関連付けて、頂点角（３Ｄ）等の様々なデータを記録することができる。

ステップＳＧ４０６では、ＣＰＵ３４ｃが投影点（３Ｄ）を算出し、算出した投影点（３Ｄ）をＲＡＭ３４ａに記録する。ステップＳＧ４０７では、ＣＰＵ３４ｃが頂点角（３Ｄ）を算出し、算出した頂点角（３Ｄ）をＲＡＭ３４ａに記録する。このとき、ＣＰＵ３４ｃは、図３０（ｂ）のように、頂点角（３Ｄ）をパン・チルト方向の回転角度と関連付けて、データリストに１行ずつ追加記録していく。

ステップＳＧ４０３〜ＳＧ４０７の繰り返し処理が終了すると、処理はステップＳＧ４０８に移行する。この時点でのデータリストは、図３０（ｃ）のようになり、６１×６１行分のデータで構成されている。ステップＳＧ４０８では、ＣＰＵ３４ｃがカメラポーズをパン・チルト方向にそれぞれ−３０ｄｅｇ回転させる。ステップＳＧ４０３〜ＳＧ４０７の繰り返し処理が終了した時点で、パン・チルト方向の回転角度はそれぞれ＋３０ｄｅｇであるので、ここでは、−３０ｄｅｇ回転させることによって、カメラポーズを元の状態に戻すことになる。

ステップＳＧ４０９では、ＣＰＵ３４ｃが、頂点角（計測）と頂点角（３Ｄ）との差を算出する。具体的には、ＣＰＵ３４ｃは、（１）式〜（３）式のように、頂点角（計測）Ａ１〜Ａ３と頂点角（３Ｄ）Ａ１’〜Ａ３’との差の絶対値Ｄ１〜Ｄ３を算出する。
Ｄ１＝｜Ａ１−Ａ１’｜・・・（１）
Ｄ２＝｜Ａ２−Ａ２’｜・・・（２）
Ｄ３＝｜Ａ３−Ａ３’｜・・・（３）
さらに、ＣＰＵ３４ｃは、図３１（ａ）のように、頂点角の差をパン・チルト方向の回転角度と関連付けて、データリストに追加記録する。

ステップＳＧ４１０では、ＣＰＵ３４ｃが差Ｄ１〜Ｄ３の平均値を算出する。さらに、ＣＰＵ３４ｃは、図３１（ｂ）のように、平均値をパン・チルト方向の回転角度と関連付けて、データリストに追加記録する。

ステップＳＧ４１１では、ＣＰＵ３４ｃが平均値の最小値をデータリストから検索する。図３２は、データリストにおいて、０．５が最小値として検索された様子を示している。

ステップＳＧ４１２では、ＣＰＵ３４ｃが、平均値が最小となる場合のパン・チルト方向の回転角度をデータリストから読み込む。具体的には、ＣＰＵ３４ｃは、図３２のように、データリストから、最小の平均値に関連付けられたパン・チルト方向の回転角度を読み込む。

ステップＳＧ４１３では、ＣＰＵ３４ｃが、カメラポーズをパン・チルト方向に、ステップＳＧ４１２で読み込まれた回転角度だけ回転させる。このカメラポーズで３Ｄオブジェクトを表示した場合、図２９（ｃ），（ｄ）のように、回転後の頂点角（計測）と頂点角（３Ｄ）とが、良く一致しており、参照図形（計測）と参照図形（３Ｄ）とが相似に近いことがわかる。

ステップＳＧ４１４では、ＣＰＵ３４ｃが、このときのカメラポーズをカレントカメラポーズとしてＲＡＭ３４ａに上書き記録する。ここでは、カレントカメラポーズに基づく３Ｄオブジェクトの再表示は行わない。ステップＳＧ４１４の処理が終了すると、パン・チルト方向のマッチング処理が終了する。

次に、図３３を用いて、ステップＳＧ５のロール方向のマッチング処理の流れを説明する。ロール方向のマッチング処理の目的は、参照図形（計測）と参照図形（３Ｄ）の回転方向のアングルが最も一致するカメラポーズを見つける、ということである。それぞれの参照図形の回転方向のアングルが近い場合、計測画像に写った被検体を観察する視線のロール方向の回転角度と、３Ｄオブジェクトを観察する視線のロール方向の回転角度とが、ほぼ一致しているということができる。

ステップＳＧ５０１では、ＣＰＵ３４ｃが相対角（計測）を算出し、算出した相対角（計測）をＲＡＭ３４ａに記録する。相対角（計測）とは、図３４（ａ）のように、計測画像において上下方向に伸びる直線３７００と、参照図形（計測）の３つの辺との間の角度Ａｒ１〜Ａｒ３である。このときの相対角（計測）は、直線３７００から辺への右回り方向の角度である。

ステップＳＧ５０２では、ＣＰＵ３４ｃが投影点（３Ｄ）を算出し、算出した投影点（３Ｄ）をＲＡＭ３４ａに記録する。ステップＳＧ５０３では、ＣＰＵ３４ｃが相対角（３Ｄ）を算出し、算出した相対角（３Ｄ）をＲＡＭ３４ａに記録する。相対角（３Ｄ）とは、図３４（ｂ）のように、スクリーン平面において上下方向に伸びる直線３７０１と参照図形（３Ｄ）の３つの辺との間の角度Ａｒ１’〜Ａｒ３’である。スクリーン平面は、計測画像が表示される[計測画像]ボックス６１１に相当するため、直線３７００と直線３７０１の方向は一致する。また、このときの相対角（３Ｄ）は、直線３７０１から辺への右回り方向の角度である。

ステップＳＧ５０４では、ＣＰＵ３４ｃが相対角（計測）と相対角（３Ｄ）との差を算出する。具体的には、ＣＰＵ３４ｃは、（４）式〜（６）式のように、相対角（計測）Ａｒ１〜Ａｒ３と相対角（３Ｄ）Ａｒ１’〜Ａｒ３’とのそれぞれの差Ｄｒ１〜Ｄｒ３を算出する。
Ｄｒ１＝Ａｒ１−Ａｒ１’ ・・・（４）
Ｄｒ２＝Ａｒ２−Ａｒ２’ ・・・（５）
Ｄｒ３＝Ａｒ３−Ａｒ３’ ・・・（６）

ステップＳＧ５０５では、ＣＰＵ３４ｃが差Ｄｒ１〜Ｄｒ３の平均値を算出し、算出した平均値をＲＡＭ３４ａに記録する。ステップＳＧ５０６では、ＣＰＵ３４ｃがカメラポーズをロール方向に、ステップＳＧ５０５で算出した平均値だけ回転させる。このカメラポーズで３Ｄオブジェクトを表示した場合、図３４（ｃ），（ｄ）のように、回転後の相対角（計測）と相対角（３Ｄ）とが良く一致していることがわかる。

ステップＳＧ５０７では、ＣＰＵ３４ｃが、このときのカメラポーズをカレントカメラポーズとしてＲＡＭ３４ａに上書き記録する。ここでは、カレントカメラポーズに基づく３Ｄオブジェクトの再表示は行わない。ステップＳＧ５０７の処理が終了すると、ロール方向のマッチング処理が終了する。

次に、図３５を用いて、ステップＳＧ６のズーム方向のマッチング処理の流れを説明する。ズーム方向のマッチング処理の目的は、参照図形（計測）と参照図形（３Ｄ）のサイズが最も一致するカメラポーズを見つける、ということである。それぞれの参照図形のサイズが近い場合、計測画像に写った被検体を観察する視線のズーム方向の位置と、３Ｄオブジェクトを観察する視線のズーム方向の位置とが、ほぼ一致しているということができる。

ステップＳＧ６０１では、ＣＰＵ３４ｃが辺長（計測）を算出し、算出した辺長（計測）をＲＡＭ３４ａに記録する。辺長（計測）とは、図３６（ａ）のように、参照点（計測）Ｒ１〜Ｒ３によって構成される３角形の３つの辺の長さＬ１〜Ｌ３である。

ステップＳＧ６０２では、ＣＰＵ３４ｃが投影点（３Ｄ）を算出し、算出した投影点（３Ｄ）をＲＡＭ３４ａに記録する。ステップＳＧ６０３では、ＣＰＵ３４ｃが辺長１（３Ｄ）を算出し、算出した辺長１（３Ｄ）をＲＡＭ３４ａに記録する。辺長１（３Ｄ）とは、図３６（ｂ）のように、参照図形（３Ｄ）の３つの辺の長さＬ１’〜Ｌ３’である。

ステップＳＧ６０４では、ＣＰＵ３４ｃが、このときのカメラポーズをカメラポーズ１としてＲＡＭ３４ａに上書き記録する。ステップＳＧ６０５では、ＣＰＵ３４ｃが、図３６（ｂ）のように、カメラポーズをズーム方向に所定値だけ移動させる。

ステップＳＧ６０６では、ＣＰＵ３４ｃが投影点（３Ｄ）を算出し、算出した投影点（３Ｄ）をＲＡＭ３４ａに記録する。ステップＳＧ６０７では、ＣＰＵ３４ｃが辺長２（３Ｄ）を算出し、算出した辺長２（３Ｄ）をＲＡＭ３４ａに記録する。辺長２（３Ｄ）とは、図３６（ｂ）のように、カメラポーズをズーム方向に所定値だけ移動させた後の、参照図形（３Ｄ）の３つの辺の長さＬｚ１’〜Ｌｚ３’である。ステップＳＧ６０８では、ＣＰＵ３４ｃが、このときのカメラポーズをカメラポーズ２としてＲＡＭ３４ａに上書き記録する。

ステップＳＧ６０９では、ＣＰＵ３４ｃがズーム量を算出し、算出したズーム量をＲＡＭ３４ａに記録する。ズーム量は、辺長（３Ｄ）と辺長（計測）とが一致するようなカメラポーズのズーム方向の移動量であり、辺長１，２（３Ｄ）と、カメラポーズ１，２との関係から算出される。辺は３つであるので、ズーム量も３つ算出される。

図３７は、辺長（３Ｄ）とカメラポーズのズーム方向位置との関係を示している。図３７のグラフ４０００が示すように、両者は線形的な比例関係にある。グラフ４０００を用いることで、辺長（３Ｄ）と辺長（計測）とを一致させる場合にカメラポーズをズーム方向に移動させる際の移動量を算出することができる。

ステップＳＧ６１０では、ＣＰＵ３４ｃが３つのズーム量の平均値を算出し、算出した平均値をＲＡＭ３４ａに記録する。ステップＳＧ６１１では、ＣＰＵ３４ｃが、カメラポーズをズーム方向に、ステップＳＧ６１１で算出した平均値だけ移動させる。このカメラポーズで３Ｄオブジェクトを表示した場合、図３６（ｃ），（ｄ）のように、移動後の辺長（計測）と辺長（３Ｄ）とが、良く一致していることがわかる。

ステップＳＧ６１２では、ＣＰＵ３４ｃが、このときのカメラポーズをカレントカメラポーズとしてＲＡＭ３４ａに上書き記録する。ここでは、カレントカメラポーズに基づく３Ｄオブジェクトの再表示は行わない。ステップＳＧ６１２の処理が終了すると、ズーム方向のマッチング処理が終了する。

次に、図３８を用いて、ステップＳＧ７のシフト方向のマッチング処理の流れを説明する。シフト方向のマッチング処理の目的は、[計測画像]ボックス６１１における、計測画像に写った被検体と３Ｄオブジェクトとが一致するように、シフト方向に３Ｄオブジェクトを移動させる、ということである。本処理は、３Ｄオブジェクトのシフト位置を決定するものであるため、カメラポーズの算出は行わない。

ステップＳＧ７０１では、ＣＰＵ３４ｃが重心点（計測）を算出し、算出した重心点（計測）をＲＡＭ３４ａに記録する。重心点（計測）とは、図３９（ａ）のように、参照点（計測）Ｒ１〜Ｒ３によって構成される３角形の重心点Ｇである。

ステップＳＧ７０２では、ＣＰＵ３４ｃが投影点（３Ｄ）を算出し、算出した投影点（３Ｄ）をＲＡＭ３４ａに記録する。ステップＳＧ７０３では、ＣＰＵ３４ｃが重心点（３Ｄ）を算出し、算出した重心点（３Ｄ）をＲＡＭ３４ａに記録する。重心点（３Ｄ）とは、図３９（ａ）のように、投影点（３Ｄ）Ｒｐ１’〜Ｒｐ３’によって構成される３角形の重心点Ｇ’である。

ステップＳＧ７０４では、ＣＰＵ３４ｃがシフト量を算出し、算出したシフト量をＲＡＭ３４ａに記録する。シフト量とは、重心点（計測）の、重心点（３Ｄ）との相対位置（平面座標系、ｐｉｘｅｌ単位）である。ステップＳＧ７０５では、ＣＰＵ３４ｃが、３Ｄオブジェクトをシフト方向に、ステップＳＧ７０４で算出したシフト量だけ移動させる。このカメラポーズで３Ｄオブジェクトを表示した場合、図３９（ｂ）のように、重心点（計測）と重心点（３Ｄ）とが、良く一致していることがわかる。ステップＳＧ７０５の処理が終了すると、シフト方向のマッチング処理が終了する。

本実施形態では、３Ｄマッチング処理を実行する際、ユーザが指定する平易な形状の参照図形に基づく簡単な幾何学計算のみを実行すれば良く、処理時間を大幅に短縮することができる。さらに、３Ｄオブジェクトの再表示は、３Ｄマッチング処理終了後の１度のみで良い。

次に、本実施形態の計測処理について説明する。まず、ベンド（曲がり）の計測の流れを説明する。ステップＳＧの３Ｄマッチング処理の終了後、[計測画像]ボックス６１１には、図４０に示すような被検体ＤＵＴおよび３ＤオブジェクトＯＢが表示されている。ここで、計測画像に写った被検体ＤＵＴは、角が折れ曲がった状態となっている。すなわち、被検体ＤＵＴはベンド（曲がり）の欠陥をもつ状態である。ステップＳＨの計測処理では、ＣＰＵ３４ｃは、ユーザが入力した、[計測画像]ボックス６１１の３ＤオブジェクトＯＢ上の位置を指定する指示に基づいて、参照点を指定（設定）し、指定した参照点に基づいて、３ＤオブジェクトＯＢを変形し、参照点に基づいた計測を行う。これによって、被検体に生じた欠陥の形状およびサイズをユーザが確認することができる。

図４１を用いて、ステップＳＨの計測処理の流れを説明する。ステップＳＨ１では、ＣＰＵ３４ｃが、[計測]ボタン６６５ａが既に押下された状態（ステップＳＨ３が既に行われた状態）であるかどうかを確認する。[計測]ボタン６６５ａが押下された状態である場合、処理はステップＳＨ５に移行し、[計測]ボタン６６５ａが押下された状態でない場合、処理はステップＳＨ２に移行する。

ステップＳＨ２では、ＣＰＵ３４ｃが、[計測]ボタン６６５ａがユーザによって押下されたかどうかを確認する。[計測]ボタン６６５ａが押下された場合、処理はステップＳＨ３に移行し、[計測]ボタン６６５ａが押下されていない場合、計測処理が終了する。

ステップＳＨ３では、ＣＰＵ３４ｃが、[計測]ボタン６６５ａを強調表示するための処理を行う。[計測]ボタン６６５ａを強調表示するのは、現在、３Ｄオブジェクトに対して参照点が指定可能であることをユーザに通知するためである。

ステップＳＨ４では、ＣＰＵ３４ｃが、図４２のようにメインウィンドウ６００の上に計測ウィンドウ４２００を表示する。このとき表示される計測ウィンドウ４２００はモードレスウィンドウであり、ユーザはメインウィンドウ６００と計測ウィンドウ４２００との両方を操作可能な状態にある。さらに、計測ウィンドウ４２００は、メインウィンドウ６００より常に上位（手前側）に重畳表示された状態にある。

ここで、図４２を用いて、計測ウィンドウ４２００上に配置された各種ＧＵＩの機能を説明する。計測ウィンドウ４２００の上部には、[設定]ボックス４２１０が配置され、計測ウィンドウ４２００の下部には、[結果]ボックス４２２０が配置されている。[設定]ボックス４２１０の内部には、計測処理の設定に関するＧＵＩが配置され、[結果]ボックス４２２０の内部には、計測結果に関するＧＵＩが配置されている。

[設定]ボックス４２１０の内部には、[欠陥]コンボボックス４２１１、[クリア]ボタン４２１２、[ポーズ]ボタン４２１３、[リセット]ボタン４２１４が配置されている。[欠陥]コンボボックス４２１１は、ユーザが計測したい欠陥の種類を選択するボックスであり、「ベンド（曲がり）」、「クラック（欠け）」、「デント（陥没）」の３種類を選択できる。[ポーズ]ボタン４２１３は、[計測画像]ボックス６１１に表示されている変形後の３ＤオブジェクトＯＢのカメラポーズを変更可能な状態に移行するためのボタンである。

[クリア]ボタン４２１２は、[計測画像]ボックス６１１において、３ＤオブジェクトＯＢに対して既に指定された参照点をクリアするためのボタンである。[リセット]ボタン４２１４は、[計測画像]ボックス６１１において、[ポーズ]ボタン４２１３の押下後に変更されたカメラポーズを、[ポーズ]ボタン４２１３の押下前の元のカメラポーズに戻すためのボタンである。[クリア]ボタン４２１２、[リセット]ボタン４２１４が押下された際にＣＰＵ３４ｃが行う処理に関しては、詳細な説明は行わない。

[結果]ボックス４２２０の内部には、欠陥の計測結果である「幅」、「面積」、「角度」をそれぞれ表示するテキストボックス４２２１，４２２２，４２２３が配置されている。ただし、図４２は、[欠陥]コンボボックス４２１１において「ベンド（曲がり）」が選択されている場合の計測ウィンドウ４２００の状態を示しており、[欠陥]コンボボックス４２１１において他の欠陥が選択されている場合には、その欠陥に応じた計測結果が表示されることになる。

計測ウィンドウ４２００の下部には[閉じる]ボタン４２２４が配置されている。[閉じる]ボタン４２２４は、計測処理を終了するためのボタンであり、[閉じる]ボタン４２２４が押下されると、計測ウィンドウ４２００が非表示となる。

ステップＳＨ５〜ＳＨ６の処理は、計測画像における被検体ＤＵＴに発生している欠陥の種類を選択するための処理である。ステップＳＨ５では、ＣＰＵ３４ｃが、ユーザによって[欠陥]コンボボックス４２１１上で指定される情報に基づいて欠陥の種類を選択する。計測画像に写った被検体ＤＵＴがベンド（曲がり）の欠陥をもっている場合、ユーザは[欠陥]コンボボックス４２１１において「ベンド（曲がり）」を選択することになる。

ステップＳＨ６では、ステップＳＨ５において選択された欠陥の種類に応じて、ＣＰＵ３４ｃが、[結果]ボックス４２２０の表示を切り替える。欠陥の種類として「ベンド（曲がり）」が選択されている場合、[結果]ボックス４２２０には、図４２のように、欠陥の「幅」、「面積」、「角度」をそれぞれ表示するテキストボックス４２２１，４２２２，４２２３が表示される。

ステップＳＨ７では、ＣＰＵ３４ｃが３Ｄオブジェクト変形処理を行う。３Ｄオブジェクト変形処理とは、ユーザが指定する参照点に基づいて３ＤオブジェクトＯＢを変形する処理である。ここで一旦、図４１の計測処理の流れから離れ、図４３を用いて、３Ｄオブジェクト変形処理の流れを説明する。

図４３は、[欠陥]コンボボックス４２１１において「ベンド（曲がり）」が選択されている場合の３Ｄオブジェクト変形処理の流れを示している。ステップＳＨ７０１では、[計測画像]ボックス６１１において、図４４（ａ）のように、ユーザが３ＤオブジェクトＯＢに対してカーソルＣにより参照点１，２（Ｐ１，Ｐ２）を指定すると、ＣＰＵ３４ｃが、カーソルＣの位置における平面座標に基づいて、指定された参照点１，２の空間座標を算出し、３ＤオブジェクトＯＢ上に参照点１，２を●印で表示するための処理を行う。参照点１，２は、３ＤオブジェクトＯＢを変形させる際の基準点（第１の基準点）となる。ユーザは、被検体ＤＵＴにおけるベンド部の両端に位置する３ＤオブジェクトＯＢ上の空間点を、参照点１，２として指定する。

ステップＳＨ７０２では、ＣＰＵ３４ｃが、指定された参照点１と参照点２を結ぶ空間直線を、基準線として算出する。さらに、ステップＳＨ７０２では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、図４４（ａ）のように、基準線Ｌ１を直線で表示するための処理を行う。

ステップＳＨ７０３では、[計測画像]ボックス６１１において、図４４（ｂ）のように、ユーザが３ＤオブジェクトＯＢに対してカーソルＣにより参照点３（Ｐ３）を指定すると、ＣＰＵ３４ｃが、カーソルＣの位置における平面座標に基づいて、指定された参照点３の空間座標を算出し、３ＤオブジェクトＯＢ上に参照点３を●印で表示するための処理を行う。参照点３は、３ＤオブジェクトＯＢを変形させる際の基準点（第２の基準点）となる。ユーザは、３ＤオブジェクトＯＢの頂点（ブレードの頂点）を、参照点３として指定する。

ステップＳＨ７０４では、ＣＰＵ３４ｃが、指定された参照点１と参照点３を結ぶ空間直線および参照点２と参照点３を結ぶ空間直線を、輪郭線として算出する。さらに、ステップＳＨ７０４では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、図４４（ｂ）のように、輪郭線Ｌ２，Ｌ３を直線で表示するための処理を行う。

ステップＳＨ７０５では、ＣＰＵ３４ｃが構成点を確定する。構成点とは、３Ｄオブジェクトを構成する空間点のうち、後述する回転移動の対象となる空間点の集まりのことである。ここで、構成点として確定されるのは、図４５（ａ）のように、[計測画像]ボックス６１１において、基準線および輪郭線によって囲まれた３角形の内部に位置する、３ＤオブジェクトＯＢを構成する空間点４５００である。

ステップＳＨ７０６では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、ユーザによってポイントが指定されたかどうかを確認する。ここでは、ＣＰＵ３４ｃは、ポイントが指定されたかどうかによって、３ＤオブジェクトＯＢの変形が完了したかどうかを確認している。

後述するように、ユーザがカーソルＣを移動させると、カーソルＣの移動に応じて、参照点３が回転移動する。回転移動した参照点３の位置が、計測画像の被検体ＤＵＴにおけるベンド部の頂点の位置と一致した場合に、ユーザはポイント（第３の基準点）を指定する。ポイントが指定された場合、処理はステップＳＨ７１１に移行し、ポイントが指定されていない場合、処理はステップＳＨ７０７に移行する。

ステップＳＨ７０７では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、ユーザによってリモコン２３を介して入力されるカーソルＣの移動指示を検出し、その移動指示に基づいて、カーソルＣの位置および移動量を算出する。ステップＳＨ７０８では、ＣＰＵ３４ｃが、カーソルＣの移動量に応じて、回転角度を算出する。

ここで、カーソルＣの移動量とは、図４５（ｂ）のように、カーソルＣが参照点３の初期位置から基準線Ｌ１に近づく（カーソルＣが方向Ｄ１に移動する）につれて＋方向に増加し、基準線Ｌ１から遠ざかる（カーソルＣが方向Ｄ２に移動する）につれて−方向に減少するような値と考えれば良い。回転角度は、このカーソルＣの初期位置からの移動量に比例する角度値として定義される。ユーザは、カーソルＣをどこに移動させるかによって、参照点３および構成点をどの程度回転させるかを決定することができる。

ステップＳＨ７０９では、ＣＰＵ３４ｃが、基準線Ｌ１を回転軸として、ステップＳ７０８で算出した回転角度分だけ、参照点３を回転移動させ、回転移動後の参照点３の空間座標を算出する。さらに、ステップＳＨ７０９では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、回転移動後の参照点３を再表示する。回転移動処理の詳細については、後述する。

ステップＳＨ７１０では、ＣＰＵ３４ｃが、ステップＳＨ７０９で回転移動した参照点３の空間座標に基づいて、参照点１と参照点３および参照点２と参照点３を結ぶ２本の空間直線を、輪郭線として算出する。さらに、ステップＳＨ７１０では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、輪郭線を再表示する。

このとき、図４６〜図４７のように、[計測画像]ボックス６１１において、カーソルＣが矢印Ａｒ１で示されるように移動することに対応して、参照点３が矢印Ａｒ２で示されるように回転移動し、回転移動後の参照点３と、その参照点３に基づいて算出された輪郭線Ｌ２，Ｌ３とが再表示されていることがわかる。

図４８は、参照点１，２，３、基準線、および輪郭線を３ＤオブジェクトＯＢの右側面から見た状態を示している。図４８の左側が画面手前側であり、右側が画面奥側である。カーソルＣが、基準線Ｌ１に近づく方向に移動する場合、矢印Ａｒ３で示されるように参照点３は画面手前側に回転移動することになる。なお、カーソルＣが基準線Ｌ１から遠ざかる方向に移動する場合、矢印Ａｒ４で示されるように参照点３は画面奥側に回転移動することになる。

ステップＳＨ７１１では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、既に表示されている参照点および基準線を非表示とする。ステップＳＨ７１２では、ＣＰＵ３４ｃが、基準線を回転軸として、構成点を回転移動させる処理（回転移動処理）を行う。回転移動処理により、図４９（ａ）のように、構成点が移動する。回転移動処理の詳細については、後述する。

ステップＳＨ７１３では、ＣＰＵ３４ｃが、回転移動した構成点に基づいて、[計測画像]ボックス６１１において、図４９（ｂ）のように、３ＤオブジェクトＯＢを再表示する。このとき、基準線を軸に、３ＤオブジェクトＯＢの角（ブレードの角）が、画面手前側に折れ曲がるように変形されていることがわかる。なお、図示していないが、カーソルＣの移動位置を調整することで、３Ｄオブジェクトの角が画面奥側に折れ曲がるように変形させることもできる。

ステップＳＨ７１４では、[結果]ボックス４２２０において、ＣＰＵ３４ｃが、参照点１，２、および移動後の参照点３に基づいて、計測結果を算出し、算出した計測結果を表示する。ベンドの計測では、ベンド部の幅、面積、角度が算出される。ベンド部の幅は、基準線Ｌ１の長さ（参照点１−参照点２間の空間距離）である。ベンド部の面積は、基準線Ｌ１および輪郭線Ｌ２，Ｌ３で囲まれた空間３角形の面積である。ベンド部の角度は、ステップＳＨ７０８で算出された回転角度（折れ曲がり角度）である。算出されたベンド部の幅、面積、角度はそれぞれテキストボックス４２２１，４２２２，４２２３に表示される。ステップＳＨ７１４の処理が終了すると、計測処理は終了する。

次に、ステップＳＨ７１２において実行される回転移動処理の詳細を説明する。以下では、基準線Ｌ１を回転軸として、ある空間点Ｓを回転させる場合の空間点Ｓの移動後の座標の計算方法について説明する。

参照点１，２の空間座標をそれぞれ（Ｐ_ｘ１，Ｐ_ｙ１，Ｐ_ｚ１）、（Ｐ_ｘ２，Ｐ_ｙ２，Ｐ_ｚ２）とすると、基準線Ｌ１は以下の（７）式で表される。

基準線Ｌ１の空間長さ（参照点１−参照点２間の空間距離）をＬとすると、空間長さは以下の（８）式で表される。

参照点１から参照点２へ伸びる方向の、基準線Ｌ１の単位方向ベクトルをｎ=（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とすると、単位方向ベクトルは以下の（９）式で表される。

基準線Ｌ１を回転軸として、空間点Ｓを回転させる場合、回転前および回転後の空間点Ｓの座標をそれぞれ（ｘ，ｙ，ｚ）、（ｘ’，ｙ’，ｚ’）とすると、回転前と回転後の空間点Ｓの座標の関係は以下の（１０）式で表される。

（１０）式が示す関係は、図５０のように、単位方向ベクトルｎを正方向として、右回り（右ねじ方向Ｒ１）に角度θだけ空間点Ｓを回転させた場合の関係である。この角度θは、ステップＳＨ７０６でポイントが指定される直前にカーソルＣの移動量に基づいてステップＳＨ７０８で算出された回転角度である。ステップＳＨ７１２においては、上記のように回転移動された空間点Ｓのように、参照点３および構成点が回転移動される。

次に、図４１を再度参照して、計測処理の流れを説明する。ステップＳＨ８〜ＳＨ１１の処理は、カメラポーズの変更および欠陥の確認を行うための処理である。ステップＳＨ８では、ＣＰＵ３４ｃが、[設定]ボックス４２１０において、ユーザによってリモコン２３を介して入力される[ポーズ]ボタン４２１３の押下を検出する。[ポーズ]ボタン４２１３が押下されると、[計測画像]ボックス６１１において、変形後の３ＤオブジェクトＯＢのカメラポーズを変更可能な状態となる。

ステップＳＨ９では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、変形後の３ＤオブジェクトＯＢの透過率を変更し、変更後の透過率で３ＤオブジェクトＯＢを再表示するための処理を行う。このとき、３ＤオブジェクトＯＢがより見やすいように、透過率が低く設定されることが望ましい。

ステップＳＨ１０では、ＣＰＵ３４ｃが、 [計測画像]ボックス６１１において、ユーザがリモコン２３を操作してカーソルＣによりクリック等を行いながらカーソルＣを上下左右に移動させる操作（ドラッグ操作）を検出し、カーソルＣの操作を検出した結果に基づいて、変形後の３ＤオブジェクトＯＢのカメラポーズを変更する。ステップＳＨ１１では、ＣＰＵ３４ｃが、変形後の３ＤオブジェクトＯＢを再表示するための処理を行う。

図５１（ａ）は、ステップＳＨ１０でカメラポーズが変更される前の３ＤオブジェクトＯＢを示している。ステップＳＨ７における３Ｄオブジェクト変形処理によって、計測画像の被検体ＤＵＴにおける欠陥（ベンド部）が３ＤオブジェクトＯＢ上で再現されているが、１つのカメラポーズに対応する３ＤオブジェクトＯＢを観察しただけでは、ベンド部の形状が必ずしもわからない場合がある。

図５１（ｂ）は、ステップＳＨ１０でカメラポーズが変更された後の３ＤオブジェクトＯＢを示している。このように、ユーザがカメラポーズを変更することで、変形後の３ＤオブジェクトＯＢのベンド部の形状をより確認しやすい状態にすることができる。すなわち、ユーザは、３ＤオブジェクトＯＢのベンド部の形状を詳細に確認することができる。

計測画像のみでは、ユーザは被検体ＤＵＴを一方向からしか観察できないため、被検体ＤＵＴに形成された欠陥の状態を詳細に把握することはできない。しかし、ユーザが欠陥の状態に合わせて３ＤオブジェクトＯＢを変形させ、さらに欠陥を様々な角度から観察することで、ユーザは欠陥の形状を視覚的に把握でき、かつ得られる欠陥の情報量が格段に増えることになる。なお、図４１には図示していないが、[ポーズ]ボタン４２１３以外の計測ウィンドウ４２００内のＧＵＩが操作されない限り、ユーザは変形後の３ＤオブジェクトＯＢのカメラポーズを何度でも変更することができる。すなわちステップＳＨ１０〜ＳＨ１１の処理を順次繰り返すことができる。

ステップＳＨ１２〜ＳＨ１４の処理は、計測処理を終了するための処理である。ステップＳＨ１２では、ＣＰＵ３４ｃが、計測ウィンドウ４２００において、ユーザによってリモコン２３を介して入力される[閉じる]ボタン４２２４の押下を検出する。[閉じる]ボタン４２２４が押下されると、処理はステップＳＨ１３に移行する。

ステップＳＨ１３では、[計測画像]ボックス６１１において、ＣＰＵ３４ｃが、３ＤオブジェクトＯＢを変形前の形状（計測ウィンドウ４２００が開かれた時点での３ＤオブジェクトＯＢの形状）に戻し、再表示するための処理を行う。ステップＳＨ１４では、ＣＰＵ３４ｃが計測ウィンドウ４２００を非表示とする。ステップＳＨ１４の処理が終了すると、計測処理は終了する。

次に、ステップＳＨ５において、ユーザが、[欠陥]コンボボックス４２１１の欠陥の種類として、「クラック（欠け）」を選択した場合の計測処理について説明する。ステップＳＧの３Ｄマッチング処理の終了後、[計測画像]ボックス６１１には、図５２に示すような被検体ＤＵＴおよび３ＤオブジェクトＯＢが表示されている。ここで、計測画像に写った被検体ＤＵＴは、辺が欠けた状態となっている。すなわち、被検体ＤＵＴはクラック（欠け）の欠陥をもつ状態である。

計測処理の全体の流れは、図４１に示した計測処理の流れと同様である。ただし、計測画像に写った被検体ＤＵＴがクラック（欠け）の欠陥をもっている場合、ステップＳＨ５では、ユーザは[欠陥]コンボボックス４２１１において「クラック（欠け）」を選択することになる。また、ステップＳＨ６では、欠陥の種類として「クラック（欠け）」が選択されている場合、[結果]ボックス４２２０には、欠陥の「幅」、「深さ」、「面積」をそれぞれ表示するテキストボックスが表示される。

図５３は、[欠陥]コンボボックス４２１１において「クラック（欠け）」が選択されている場合の３Ｄオブジェクト変形処理の流れを示している。ステップＳＨ７２１では、[計測画像]ボックス６１１において、図５４（ａ）のように、ユーザが３ＤオブジェクトＯＢに対してカーソルＣにより参照点１，２（Ｐ１，Ｐ２）を指定すると、ＣＰＵ３４ｃが、カーソルＣの位置における平面座標に基づいて、指定された参照点１，２の空間座標を算出し、３ＤオブジェクトＯＢ上に参照点１，２を●印で表示するための処理を行う。参照点１，２は、３ＤオブジェクトＯＢを変形させる際の基準点（第１の基準点）となる。ユーザは、被検体ＤＵＴにおけるクラック部の両端に位置する３ＤオブジェクトＯＢ上の空間点を、参照点１，２として指定する。

ステップＳＨ７２２では、ＣＰＵ３４ｃが、指定された参照点１と参照点２を結ぶ空間直線を、基準線として算出する。さらに、ステップＳＨ７２２では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、図５４（ａ）のように、基準線Ｌ１を直線で表示するための処理を行う。

ステップＳＨ７２３では、[計測画像]ボックス６１１において、図５４（ｂ）のように、ユーザが３ＤオブジェクトＯＢに対してカーソルＣにより参照点３（Ｐ３）を指定すると、ＣＰＵ３４ｃが、カーソルＣの位置における平面座標に基づいて、指定された参照点３の空間座標を算出し、３ＤオブジェクトＯＢ上に参照点３を●印で表示するための処理を行う。参照点３は、３ＤオブジェクトＯＢを変形させる際の基準点（第２の基準点）となる。ユーザは、参照点１，２の中間に位置する、基準線Ｌ１上の点を、参照点３として指定する。

ステップＳＨ７２４では、ＣＰＵ３４ｃが、指定された参照点１，３，２を結ぶ空間曲線を、輪郭線として算出する。さらに、ステップＳＨ７２４では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、図５４（ｂ）のように、輪郭線Ｌ２を曲線で表示するための処理を行う。このとき算出される輪郭線として、参照点１，３，２を結ぶスプライン補間曲線等を用いる。

ステップＳＨ７２５では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、ユーザによってポイントが指定されたかどうかを確認する。ここでは、ＣＰＵ３４ｃは、ポイントが指定されたかどうかによって、３ＤオブジェクトＯＢの変形が完了したかどうかを確認している。

後述するように、ユーザがカーソルＣを移動させると、カーソルＣの移動に応じて、参照点３が移動する。移動した参照点３の位置が、計測画像の被検体ＤＵＴにおけるクラック部の輪郭の位置と一致した場合に、ユーザはポイント（第３の基準点）を指定する。ポイントが指定された場合、処理はステップＳＨ７２９に移行し、ポイントが指定されていない場合、処理はステップＳＨ７２６に移行する。

ステップＳＨ７２６では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、ユーザによってリモコン２３を介して入力されるカーソルＣの移動指示を検出し、その移動指示に基づいて、カーソルＣの位置および移動量を算出する。

ステップＳＨ７２７では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、現在のカーソルＣの位置と同じ位置に参照点３を移動させ、移動後の参照点３の空間座標を算出する。さらに、ステップＳＨ７２７では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、移動後の参照点３を再表示する。

ステップＳＨ７２８では、ＣＰＵ３４ｃが、ステップＳＨ７２７で移動した参照点３の空間座標に基づいて、参照点１，３，２を結ぶ空間曲線を、輪郭線として算出する。さらに、ステップＳＨ７２８では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、輪郭線を再表示する。輪郭線は、参照点３の位置に応じて、弓なりに湾曲して変形する。

このとき、図５５〜図５６のように、[計測画像]ボックス６１１において、カーソルＣの移動に対応して、参照点３が矢印Ａｒ５で示されるように移動し、移動後の参照点３と、その参照点３に基づいて算出された輪郭線Ｌ２とが再表示されていることがわかる。

ステップＳＨ７２９では、ＣＰＵ３４ｃが構成点を確定する。ここで、構成点として確定されるのは、図５７（ａ）のように、[計測画像]ボックス６１１において、基準線および輪郭線によって囲まれた図形の内部に位置する、３ＤオブジェクトＯＢを構成する空間点５７００である。

ステップＳＨ７３０では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、既に表示されている参照点および基準線を非表示とする。ステップＳＨ７３１では、ＣＰＵ３４ｃが、図５７（ｂ）のように全ての構成点を輪郭線側に移動させる処理を行う。

ステップＳＨ７３２では、ＣＰＵ３４ｃが、移動した構成点に基づいて、[計測画像]ボックス６１１において、図５８のように、３ＤオブジェクトＯＢを再表示する。このとき、基準線を軸に、３ＤオブジェクトＯＢの辺（ブレードの辺）が、画面左側に欠けるように変形されていることがわかる。なお、図示していないが、カーソルＣの移動位置を調整することで、３Ｄオブジェクトの辺が画面右側に突起するように変形させることもできる。

ステップＳＨ７３３では、[結果]ボックス４２２０において、ＣＰＵ３４ｃが、参照点１，２、および移動後の参照点３に基づいて、計測結果を算出し、算出した計測結果を表示する。クラックの計測では、クラック部の幅、深さ、面積が算出される。クラック部の幅は、基準線Ｌ１の長さ（参照点１−参照点２間の空間距離）である。クラック部の深さは、参照点３から基準線Ｌ１に降ろした垂線の空間長さである。クラック部の面積は、基準線Ｌ１と輪郭線Ｌ２で囲まれた空間平面の面積である。算出されたクラック部の幅、深さ、面積は、それぞれに対応したテキストボックスに表示される。ステップＳＨ７３３の処理が終了すると、計測処理は終了する。

図５９（ａ）は、ステップＳＨ１０でカメラポーズが変更される前の３ＤオブジェクトＯＢを示している。ステップＳＨ７における３Ｄオブジェクト変形処理によって、計測画像の被検体ＤＵＴにおける欠陥（クラック部）が３ＤオブジェクトＯＢ上で再現されているが、１つのカメラポーズに対応する３ＤオブジェクトＯＢを観察しただけでは、クラック部の形状が必ずしもわからない場合がある。

図５９（ｂ）は、ステップＳＨ１０でカメラポーズが変更された後の３ＤオブジェクトＯＢを示している。このように、ユーザがカメラポーズを変更することで、変形後の３ＤオブジェクトＯＢのクラック部の形状をより確認しやすい状態にすることができる。すなわち、ユーザは、３ＤオブジェクトＯＢのクラック部の形状を詳細に確認することができる。

次に、ステップＳＨ５において、ユーザが、[欠陥]コンボボックス４２１１の欠陥の種類として、「デント（陥没）」を選択した場合の計測処理について説明する。ステップＳＧの３Ｄマッチング処理の終了後、[計測画像]ボックス６１１には、図６０に示すような被検体ＤＵＴおよび３ＤオブジェクトＯＢが表示されている。ここで、計測画像に写った被検体ＤＵＴは、表面が陥没した状態となっている。すなわち、被検体ＤＵＴはデント（陥没）の欠陥をもつ状態である。

計測処理の全体の流れは、図４１に示した計測処理の流れと同様である。ただし、計測画像に写った被検体ＤＵＴがデント（陥没）の欠陥をもっている場合、ステップＳＨ５では、ユーザは[欠陥]コンボボックス４２１１において「デント（陥没）」を選択することになる。また、ステップＳＨ６では、欠陥の種類として「デント（陥没）」が選択されている場合、[結果]ボックス４２２０には、欠陥の「幅」、「深さ」をそれぞれ表示するテキストボックスが表示される。

[欠陥]コンボボックス４２１１において「デント（陥没）」が選択されている場合の３Ｄオブジェクト変形処理の流れは、図５３に示した３Ｄオブジェクト変形処理の流れと同様である。以下、図５３を用いて、[欠陥]コンボボックス４２１１において「デント（陥没）」が選択されている場合の３Ｄオブジェクト変形処理の流れを説明する。

ステップＳＨ７２１では、[計測画像]ボックス６１１において、図６１（ａ）のように、ユーザが３ＤオブジェクトＯＢに対してカーソルＣにより参照点１，２（Ｐ１，Ｐ２）を指定すると、ＣＰＵ３４ｃが、カーソルＣの位置における平面座標に基づいて、指定された参照点１，２の空間座標を算出し、３ＤオブジェクトＯＢ上に参照点１，２を●印で表示するための処理を行う。参照点１，２は、３ＤオブジェクトＯＢを変形させる際の基準点（第１の基準点）となる。ユーザは、被検体ＤＵＴにおけるデント部の両端に位置する３ＤオブジェクトＯＢ上の空間点を、参照点１，２として指定する。

ステップＳＨ７２２では、ＣＰＵ３４ｃが、指定された参照点１と参照点２を結ぶ空間直線を、基準線として算出する。さらに、ステップＳＨ７２２では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、図６１（ａ）のように、基準線Ｌ１を直線で表示するための処理を行う。

ステップＳＨ７２３では、[計測画像]ボックス６１１において、図６１（ｂ）のように、ユーザが３ＤオブジェクトＯＢに対してカーソルＣにより参照点３（Ｐ３）を指定すると、ＣＰＵ３４ｃが、カーソルＣの位置における平面座標に基づいて、指定された参照点３の空間座標を算出し、３ＤオブジェクトＯＢ上に参照点３を●印で表示するための処理を行う。参照点３は、３ＤオブジェクトＯＢを変形させる際の基準点（第２の基準点）となる。ユーザは、参照点１，２の中間に位置する、基準線Ｌ１上の点を、参照点３として指定する。

ステップＳＨ７２４では、ＣＰＵ３４ｃが、指定された参照点１，３，２を結ぶ空間曲線を、輪郭線として算出する。さらに、ステップＳＨ７２４では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、図６１（ｂ）のように、輪郭線Ｌ２を曲線で表示するための処理を行う。このとき算出される輪郭線として、参照点１，３，２を結ぶスプライン補間曲線等を用いる。

後述するように、ユーザがカーソルＣを移動させると、カーソルＣの移動に応じて、参照点３が移動する。移動した参照点３の位置が、計測画像の被検体ＤＵＴにおけるデント部の奥行き方向の輪郭（凹み）の位置と一致した場合に、ユーザはポイント（第３の基準点）を指定する。ポイントが指定された場合、処理はステップＳＨ７２９に移行し、ポイントが指定されていない場合、処理はステップＳＨ７２６に移行する。

このとき、図６２のように、[計測画像]ボックス６１１において、カーソルＣの移動に対応して、参照点３が矢印Ａｒ６で示されるように移動し、移動後の参照点３と、その参照点３に基づいて算出された輪郭線Ｌ２とが再表示されていることがわかる。

ステップＳＨ７２９では、ＣＰＵ３４ｃが構成点を確定する。ここで、構成点として確定されるのは、図６３（ａ）のように、[計測画像]ボックス６１１において、参照点１，２を直径とする円６３００の内部に位置する、３ＤオブジェクトＯＢを構成する空間点６３１０である。

ステップＳＨ７３０では、ＣＰＵ３４ｃが、[計測画像]ボックス６１１において、既に表示されている参照点および基準線を非表示とする。ステップＳＨ７３１では、ＣＰＵ３４ｃが、図６３（ｂ）のように全ての構成点を移動させる処理を行う。このとき、各構成点が形成する形状が輪郭線Ｌ２の形状に合うように、各構成点が画面奥側に移動する。

ステップＳＨ７３２では、ＣＰＵ３４ｃが、移動した構成点に基づいて、[計測画像]ボックス６１１において、図６４のように、３ＤオブジェクトＯＢを再表示する。このとき、基準線を軸に、３ＤオブジェクトＯＢの表面（ブレードの表面）が、画面奥側に陥没するように変形されていることがわかる。なお、図示していないが、カーソルＣの移動位置を調整することで、３Ｄオブジェクトの表面が画面手前側に突起するように変形させることもできる。

ステップＳＨ７３３では、[結果]ボックス４２２０において、ＣＰＵ３４ｃが、参照点１，２、および移動後の参照点３に基づいて、計測結果を算出し、算出した計測結果を表示する。デントの計測では、デント部の幅、深さが算出される。デント部の幅は、基準線Ｌ１の長さ（参照点１−参照点２間の空間距離）である。デント部の深さは、変形後の３ＤオブジェクトＯＢにおけるデント部の底から基準線Ｌ１に降ろした垂線の空間長さである。算出されたデント部の幅、深さは、それぞれに対応したテキストボックスに表示される。ステップＳＨ７３３の処理が終了すると、計測処理は終了する。

図６５（ａ）は、ステップＳＨ１０でカメラポーズが変更される前の３ＤオブジェクトＯＢを示している。ステップＳＨ７における３Ｄオブジェクト変形処理によって、計測画像の被検体ＤＵＴにおける欠陥（デント部）が３ＤオブジェクトＯＢ上で再現されているが、１つのカメラポーズに対応する３ＤオブジェクトＯＢを観察しただけでは、デント部の形状が必ずしもわからない場合がある。

図６５（ｂ）は、ステップＳＨ１０でカメラポーズが変更された後の３ＤオブジェクトＯＢを示している。このように、ユーザがカメラポーズを変更することで、変形後の３ＤオブジェクトＯＢのデント部の形状をより確認しやすい状態にすることができる。すなわち、ユーザは、３ＤオブジェクトＯＢのデント部の形状を詳細に確認することができる。

本実施形態では、計測に係る一連の処理の手順および内容を規定したソフトウェア（プログラム）である３Ｄ計測ソフトに従ってＣＰＵ３４ｃが上記の処理を行うことによって計測が行われる。図６６は、ＣＰＵ３４ｃに必要な機能構成を示している。図６６では、本実施形態の計測に関係する機能構成のみが示されており、他の機能構成については省略されている。ＣＰＵ３４ｃの機能構成には、撮像制御部３４０、指定部３４１、マッチング処理部３４２、表示制御部３４３、変形処理部３４４、および計測部３４５が含まれる。

撮像制御部３４０は、光源３２および湾曲制御ユニット３３の制御や撮像素子３０ｂの制御を行う。指定部３４１は、リモコン２３を介してユーザによって入力される指示に基づいて、計測画像上や３Ｄオブジェクトの画像上の指定された位置に対応する参照点（計測）、参照点（３Ｄ）、３Ｄオブジェクト変形処理時の参照点を指定（設定）する。マッチング処理部３４２は、指定部３４１によって指定された参照点（計測）および参照点（３Ｄ）に基づいて、参照図形（計測）および参照図形（３Ｄ）を算出し、参照図形（計測）と参照図形（３Ｄ）との幾何学計算により、マッチングに必要なカメラポーズの変更量を算出する。

表示制御部３４３は、モニタ２２に表示される画像の内容や表示状態等を制御する。特に、表示制御部３４３は、マッチング処理部３４２によって算出されたカメラポーズの変更量に基づいて３Ｄオブジェクトの姿勢を調整することによって、計測画像と３Ｄオブジェクトを互いにマッチングさせた状態で表示させる。上記の説明では３Ｄオブジェクトのみの姿勢を調整しているが、これに限らず、被検体を含む計測画像の姿勢を調整したり、計測画像および３Ｄオブジェクトの姿勢を調整したりしてもよい。また、表示制御部３４３は、３Ｄオブジェクト変形処理によって変形された３Ｄオブジェクトの姿勢を、リモコン２３を介してユーザによって入力されるカメラポーズの変更指示に基づいて調整する。

変形処理部３４４は、指定部３４１によって指定された参照点に基づいて、３Ｄオブジェクトを変形する処理を行う。計測部３４５は、指定部３４１によって指定された参照点に基づいて、ベンド部の幅、面積、角度、クラック部の幅、深さ、面積、デント部の幅、深さを算出する。なお、本実施形態では、３Ｄオブジェクト変形処理において３Ｄオブジェクトの変形の基準となる参照点に基づいて欠陥の計測を行っているが、３Ｄオブジェクト変形処理によって変形された３Ｄオブジェクト上でユーザによって任意に指定された参照点に基づいて欠陥の計測（例えば指定された２点の参照点間の空間距離の計測）を行ってもよい。図４６に示す機能構成の一部または全部を、計測に必要な機能を実現するためのアナログ回路やデジタル回路を配置して構成した特定のハードウェアに置き換えることも可能である。

上述したように、本実施形態では、[計測画像]ボックス６１１において、観察対象物である被検体を含む計測画像の姿勢と、ＣＧ物体である３Ｄオブジェクトの姿勢とが近づくように計測画像と３Ｄオブジェクトとの少なくとも一方の姿勢（カメラポーズ）が調整された後、３Ｄオブジェクトが変形され、さらにユーザによる指示に応じて３Ｄオブジェクトの姿勢（カメラポーズ）が変更される。これによって、ユーザが変形後の３Ｄオブジェクトを様々な角度から観察することが可能となるので、欠陥の状態の視覚的な把握が容易となる。また、変形後の３Ｄオブジェクトに対して計測を行うことで、欠陥のサイズに関する詳細な情報を得ることができる。

また、参照点（計測）と参照点（３Ｄ）のそれぞれの点の指定された順番に基づいて参照点（計測）と参照点（３Ｄ）とを対応付けることによって、簡易な方法で両者の対応付けが可能となり、マッチングに必要な処理時間を低減することができる。

また、計測画像上の参照図形（計測）と、３Ｄオブジェクト上の参照点（計測）によって構成される３角形をスクリーン平面に投影した参照図形（３Ｄ）との幾何学計算によるマッチングを行うことによって、マッチングの精度を維持しつつ、マッチングに必要な処理時間を低減することができる。

また、ユーザが参照点（計測）を指定する際に３Ｄオブジェクトの透過率が大きく設定されることによって、ユーザが計測画像を見やすくすることができ、かつ、ユーザが参照点（計測）を指定しやすくすることができる。

また、３Ｄマッチング処理中は処理負荷の高い３Ｄオブジェクトの再表示を行わず、３Ｄマッチング処理の終了時に３Ｄオブジェクトの再表示を行うことによって、マッチングに必要な処理時間を低減することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１・・・ジェットエンジン、２・・・ターニングツール、３・・・内視鏡装置、４・・・ビデオ端子ケーブル、５・・・ビデオキャプチャカード、６・・・ＰＣ、７・・・ＬＡＮケーブル、１０・・・タービンブレード、２０・・・内視鏡挿入部、２１・・・内視鏡装置本体、２２，２５・・・モニタ（表示部）、２３・・・リモコン（入力装置）、２４・・・ＰＣ本体、３０ａ・・・撮像光学系、３０ｂ・・・撮像素子、３１・・・画像信号処理装置、３２・・・光源、３３・・・湾曲制御ユニット、３４，３５・・・制御用コンピュータ、３４ａ，３５ａ・・・ＲＡＭ、３４ｂ・・・ＲＯＭ、３４ｃ，３５ｃ・・・ＣＰＵ（調整部、処理部、変更部、計測部）、３４ｄ，３５ｄ・・・ネットワークＩ／Ｆ、３４ｅ・・・ＲＳ２３２Ｃ・・・Ｉ／Ｆ、３４ｆ・・・カードＩ／Ｆ、３５ｂ・・・ＨＤＤ、３５ｅ・・・ＵＳＢ・・・Ｉ／Ｆ、３４０・・・撮像制御部、３４１・・・指定部、３４２・・・マッチング処理部、３４３・・・表示制御部、３４４・・・変形処理部、３４５・・・計測部

Claims

観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、
前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、
前記調整部による調整が行われた後、前記物体の画像上で指定される基準点に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、
前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、
を備えたことを特徴とする画像処理装置。
前記処理部は、前記物体の画像上で指定される複数の第１の基準点に基づく基準線と、前記物体の画像上で指定される第２の基準点とに基づいて、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記処理部は、前記基準線と、前記第２の基準点と、前記物体の画像上で指定される第３の基準点とに基づいて、前記第２の基準点が前記第３の基準点に移動するように、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする請求項２に記載の画像処理装置。
前記基準点は、入力装置を介して入力される指示に基づいて前記物体の画像上で指定される点であることを特徴とする請求項１に記載の画像処理装置。
観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、
前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、
前記調整部による調整が行われた後、前記物体の形状に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、
前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、
を備えたことを特徴とする画像処理装置。
前記処理部は、前記物体の画像において前記物体の輪郭を形成する複数の第１の基準点に基づく基準線と、前記物体の画像において前記物体の輪郭を形成する第２の基準点とに基づいて、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする請求項５に記載の画像処理装置。
前記処理部は、前記基準線と、前記第２の基準点と、前記物体の画像において前記物体の輪郭を形成する第３の基準点とに基づいて、前記第２の基準点が前記第３の基準点に移動するように、前記物体の画像に対して、前記物体を変形させる処理を行うことを特徴とする請求項６に記載の画像処理装置。
前記物体の画像上で指定される点に対応する前記物体上の空間座標を算出し、算出した空間座標に基づいて、前記物体のサイズを算出する計測部をさらに備えたことを特徴とする請求項１〜請求項７のいずれか一項に記載の画像処理装置。
観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、
前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、
前記調整部による調整が行われた後、前記物体の画像上で指定される基準点に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、
前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、
としてコンピュータを機能させるためのプログラム。
観察対象物の画像と、前記観察対象物に対応する物体であって予め算出された３次元形状を有する前記物体の画像とを表示する表示部と、
前記観察対象物の画像の姿勢と前記物体の画像の姿勢とが近づくように、前記観察対象物の画像と前記物体の画像との少なくとも一方の姿勢を調整する調整部と、
前記調整部による調整が行われた後、前記物体の形状に基づいて、前記物体の画像に対して、前記物体を変形させる処理を行う処理部と、
前記処理部による処理が行われた後、前記物体の画像の姿勢を変更する変更部と、
としてコンピュータを機能させるためのプログラム。