JP7393179B2

JP7393179B2 - 撮影装置

Info

Publication number: JP7393179B2
Application number: JP2019193712A
Authority: JP
Inventors: 基文福井
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2019-10-24
Filing date: 2019-10-24
Publication date: 2023-12-06
Anticipated expiration: 2039-10-24
Also published as: JP2021069032A

Description

本発明は、狭隘部に適した撮影装置に関する。

トンネルや狭い路地、室内、狭い凹部を有する構造物、間隔が狭い２枚の壁に挟まれた空間をはじめとする狭隘部において、その周辺や内部構造（以下、被写体という）を撮影したい場合がある。狭隘部においては、カメラと被写体との距離を十分にとることができないため、カメラと被写体とを正対させると、広角なレンズを用いた場合であっても、被写体の一部分がカメラに写らない状況が生じうる。

特許文献８には、被写体に沿ってカメラを移動しながら、被写体を近くで斜め方向から撮影し、撮影画像から被写体を含む部分をクロップし、正面から撮影した画像に変換し、変換後の画像を、走査方向にならって順に繋げて合成する技術が開示される。この手法によれば、カメラを被写体に正対させた場合に比べて視野を広くすることができる。

特開２００４－３１２５４９号公報国際公開ＷＯ０８／１０２８９８号公報特開２００７－３２３６１６号公報特開２０１０－０７３０３５号公報特開２０１２－０２２６５２号公報特開２０１２－１０９７３７号公報特開２０１３－２５０８９１号公報特開２０１１－１２６９８９号公報

R. Timofte, V.D. Smet, and L. V. Gool., "A+: Adjusted Anchored Neighborhood Regression for Fast Super-Resolution. ACCV, 2014" C. Dong, C. C. Loy, K. He, and X. Tang. "Image Super-Resolution Using Deep Convolutional Networks", TPAMI, 2016

特許文献８に記載の技術であっても、高さ方向の撮影範囲が十分でない状況が生じうる。この問題を解決するアプローチとして、カメラを高さ方向（ピッチング方向）にチルトさせながら撮影を行い、複数の画像を合成する方法が考えられる。しかしながらこの方法では、カメラをチルトさせる必要があるため、撮影装置全体が構造的に複雑となる。また、複数回の撮影が必要となるため、時間がかかる。

この問題を解決する別のアプローチとして、異なる方向を向いた、あるいは高さが異なる位置に配置された複数のカメラを設けて撮影する方法が考えられる。しかしながらこの場合、複数のカメラが必要となるため、システムが複雑化し、またコストが高くなる。

本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、狭隘部に適した撮影装置の提供にある。

本発明のある態様は、狭隘部の側方の正面視画像を生成する撮影装置に関する。撮影装置は、狭隘部を奥行き方向に移動しながら撮影するカメラと、注視部分とカメラが相対的に遠いときのカメラの画像における注視部分の像と、注視部分とカメラが相対的に近いときのカメラの画像における注視部分の像との相関から導かれた学習済みモデルを有しており、実動作中に、カメラから順次出力されるカメラ画像にもとづいて、正面視画像を生成する画像処理部と、を備える。

画像処理部は、カメラ画像から所定領域をクロップし、クロップした画像を学習済みモデルに入力して高解像度画像を生成し、カメラの移動にともない順次生成される高解像度画像を合成し、正面視画像を生成してもよい。

画像処理部は、異なる時刻において撮影されたカメラ画像のペアの一方に含まれ、他方に含まれない第１領域をクロップし、クロップした画像を学習済みモデルに入力して高解像度部分画像を生成し、高解像度部分画像を、カメラ画像のペアの他方の第２領域の画像と結合して、高解像度画像を生成し、カメラの移動にともない順次生成される高解像度画像を合成し、正面視画像を生成してもよい。

画像処理部は、異なる時刻において撮影された複数のカメラ画像を含む画像セットにもとづいて高解像度画像を生成してもよい。

画像セットに含まれる複数のカメラ画像それぞれについて、異なる位置に所定領域が定められており、画像処理部は、各カメラ画像から対応する所定領域をクロップし、クロップした画像を学習済みモデルに入力して高解像度中間画像を生成し、複数のカメラ画像について得られた複数の高解像度中間画像を合成して、高解像度画像を生成してもよい。

高解像度画像は、ベクトルデータであってもよい。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、狭隘部に適した撮影装置を提供できる。

図１（ａ）は、実施の形態に係る撮影装置の撮影対象を説明する図であり、図１（ｂ）は、撮影装置の出力である最終画像を示す図である。実施の形態に係る撮影装置のブロック図である。図３（ａ）は、カメラの移動を説明する図であり、図３（ｂ）、（ｃ）は、図３（ａ）のカメラの視点Ａ，Ｂにおいて得られる２枚の画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを示す図である。図４（ａ）、（ｂ）は、第１比較技術および第２比較技術において得られる正面視画像を示す図である。学習を説明する図である。図６（ａ）、（ｂ）は、超解像処理を説明する図である。図７（ａ）～（ｃ）は、撮影装置の動作を説明する図である。実施例に係る撮影装置のブロック図である。図９（ａ）、（ｂ）は、正面視画像合成部の処理を説明する図である。ディスプレイのユーザインタフェースを示す図である。変形例１に係る超解像処理を説明する図である。変形例２に係る超解像処理を説明する図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１（ａ）は、実施の形態に係る撮影装置１００の撮影対象を説明する図である。撮影装置１００の撮影対象は狭隘部２（この例では道路）の側方である。撮影装置１００は、狭隘部２を奥行き方向に進行しながら、両側あるいは片側を撮影する。以下では、説明の簡潔化と理解の容易化のため、撮影装置１００の左側方に着目して説明する。

図１（ｂ）は、撮影装置１００の出力である最終画像ＩＭＧｆを示す図である。最終画像ＩＭＧｆは、狭隘部の側方（ここでは左側方）の正面視画像であり、狭隘部２の左側に存在する複数の物体ＯＢＪ１～ＯＢＪ３が含まれている。

図２は、実施の形態に係る撮影装置１００のブロック図である。撮影装置１００は、カメラ１１０および画像処理部１２０を備える。カメラ１１０は、撮影装置１００の進行方向正面に向けられている。あるいは左側方のみを測定する場合には、カメラ１１０は左側にわずかに傾けて配置してもよい。

カメラ１１０は、狭隘部を奥行き方向に移動しながら、連続的に撮影を行う。カメラ１１０は、スチルカメラであってもよいし、ビデオカメラであってもよい。

図３（ａ）は、カメラの移動を説明する図である。図３（ａ）には、狭隘部２を横から見た様子が示される。図３（ｂ）、（ｃ）は、図３（ａ）のカメラの視点Ａ，Ｂにおいて得られる２枚のカメラ画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを示す図である。

中央の物体ＯＢＪ２（この例ではビル）に着目する。手前側の視点Ａから写した画像ＩＭＧ＿Ａには、物体ＯＢＪ２の正面の全体が写っているが、そのサイズは小さいため、物体ＯＢＪ２の解像度は低いといえる。

より被写体である物体ＯＢＪ２に近い視点Ｂから写した画像ＩＭＧ＿Ｂには、物体ＯＢＪ２が、画像ＩＭＧ＿Ａよりも大きく、その細部まで高解像度で写っている。ただし物体ＯＢＪ２の正面の全体は写っていない。

実施の形態に係る撮影装置１００の画像処理を説明する前に、いくつかの比較技術を説明する。

第１比較技術では、被写体（注視部分）に近い位置で撮影した画像から、当該被写体を含む領域（図３（ｂ）、（ｃ）の領域ＲＧＮ１）をクロップして、それを正面視変換して合成する。図４（ａ）は、第１比較技術において得られる正面視画像を示す図である。第１比較技術では、高解像度な正面視画像を得ることができるが、被写体の上側が欠けることとなる。

第２比較技術では、被写体から遠い位置で撮影した画像から、被写体の全体が写っている領域（図３（ｂ），（ｃ）の領域ＲＧＮ２）をクロップして、それを正面視変換して、合成する。図４（ｂ）は、第２比較技術において得られる正面視画像を示す図である。第２比較技術では、被写体の正面の全体を観察できるが、正面視変換により画像が引き伸ばされるため解像度が低下し、ピンボケのようにエッジや輪郭が滲んで見える。

図２に戻り、本実施の形態における画像処理について説明する。画像処理部１２０は、カメラ１１０の出力にもとづいて最終画像ＩＭＧｆを生成する。画像処理部１２０は、ＣＰＵ（Central Processing Unit）などの演算処理手段と、ソフトウェアプログラムの組み合わせで実装することができる。

画像処理部１２０には、機械学習によって予め生成された学習済みモデル１２２が実装される。学習済みモデル１２２の機械学習について説明する。学習済みモデル１２２は、画像の超解像処理に利用される。

超解像処理は、学習データを必要としない古典的な手法（たとえばbilinear法、Lanczos法）などを用いてもよいが、その場合、精度が問題となる。そこで本実施の形態では、非特許文献１に開示されるＡ＋法や、非特許文献２に開示されるＳＲＣＮＮ法などの、学習ベースの手法を採用するものとする。Ａ＋法は、学習データから、スパース辞書と呼ばれる学習モデルを構築する手法である。ＳＲＣＮＮ法は、深層学習を使った手法である。学習画像としては、汎用コーパスを用いてもよいし、独自に用意してよい。学習済みモデル１２２の学習には、低解像度画像と高解像度画像のペアが必要となるが、しばしば用いられるのが、高解像度画像とそれを上述の古典的手法を用いて低解像度化した画像である。低解像度画像に対応する高解像度画像の拡大率は事前に定めた値（仮にｒとする）を用いる。

一方、学習データとして、撮影装置１００が使用される環境、あるいはそれと近い環境で入手した画像を用いることもできる。図５は、学習を説明する図である。学習段階において、カメラ１１０を移動させながら複数のサンプル画像ＳＩを撮影する。このサンプル画像ＳＩが、学習データとして使用される。狭隘部に存在するある物体あるいは部分（注視部分という）は、異なる位置から撮影された複数のサンプル画像に、異なるサイズで異なる位置に写る。

図５において、Ｘ_＃とＹ_＃（＃＝１，２，…）は、同じ注視部分を含む領域を表している。ある注視部分に着目したときに、注視部分とカメラが相対的に遠いときのサンプル画像を第１画像と称する。また同じ注視部分とカメラが相対的に遠いときのサンプル画像を第２画像と称する。学習済みモデルは、第１画像における注視部分の像Ｘ_＃と、第２画像における注視部分の像Ｙ_＃の相関にもとづいて導かれる。像Ｘ_＃は、注視部分の広範囲かつ低解像度な画像であり、像Ｙ_＃は、注視部分の狭範囲かつ、高解像な画像である。学習済みモデル１２２は、ＸからＹへの変換処理を実行するものと把握できる。この変換処理を写像ｆで表す。
Ｙ_＃＝ｆ（Ｘ_＃）
上述のように、像Ｘ_＃、Ｙ_＃のペアは、幅が１ピクセルの一次元画像（ベクトル）であってもよい。この場合、像Ｙ_＃の高さ（ピクセル数）は、像Ｘ_＃の高さ（ピクセル数）のｒ倍である。

像Ｘ_＃、Ｙ_＃のペアを、幅が２ピクセル以上の二次元画像とする場合、それらの形状は異なっていてもよい。なぜならカメラの光学系によって同じ被写体までの距離や位置に応じてパースが付くため、それらの形状は異なって撮影されるからである。

複数のサンプル画像から、複数の注視部分それぞれについて、像Ｘ_＃とＹ_＃のペアを学習器に入力することにより、学習済みモデルとして、変換器Ｙ＝ｆ（Ｘ）を得ることができる。画像処理部１２０においては、超解像処理に加えて、デノイジング処理を施してもよい。

図２に戻る。画像処理部１２０は、撮影装置１００の動作中に、カメラ１１０の出力画像から、所定領域をクロップし、所定領域に含まれる低解像度画像を、学習済みモデルである変換器に入力する。その結果、所定領域全体を超解像処理した画像（高解像度画像）が得られる。図６（ａ）、（ｂ）は、超解像処理を説明する図である。図６（ａ）は、一次元の低解像度画像ＩＭＧｌを入力する場合を示す。高解像度画像ＩＭＧｈは、カメラの位置が、注視部分に近づいたときに得られる画像を推定したものと把握でき、その高さｈ’は、低解像度画像ＩＭＧｌの高さｈのｒ倍（ｒ＞１）である。

図６（ｂ）は、二次元の低解像度画像を入力する場合であり、高解像度画像ＩＭＧｈの高さｈ’は、低解像度画像ＩＭＧｌの高さｈのｒ倍である。高解像度画像ＩＭＧｈの幅ｗ’は、低解像度画像ＩＭＧｌの幅ｗと等しくてもよいし、それより大きくてもよい。

図２に戻る。画像処理部１２０は、カメラ１１０の移動にともなって順次生成される高解像度画像を結合し、正面視画像である最終画像ＩＭＧｆを生成する。

以上が撮影装置１００の構成である。続いてその動作を説明する。図７（ａ）～（ｃ）は、撮影装置１００の動作を説明する図である。図７（ａ）は、ある時刻において得られたカメラ１１０の出力画像を示す。画像処理部１２０は、図７（ａ）の画像の中から、所定領域ＲＧＮｃを抽出する。この例では、所定領域ＲＧＮｃの横幅は２ピクセル以上であり、クロップされる低解像度画像は、二次元画像データであるが、所定領域ＲＧＮｃの横幅を１ピクセルとして、低解像度画像を一次元ベクトルデータとしてもよい。

図７（ｂ）は、領域ＲＧＮｃ内の画像データを、学習済みモデル１２２に入力して得られる高解像度画像ＩＭＧｈを示す。比較のために、図３（ｃ）の画像ＩＭＧ＿Ｂのフレームを一点鎖線で示す。この高解像度画像ＩＭＧｈは、画像ＩＭＧ＿Ｂのフレームからはみ出した部分についても、ディテールが豊富である。

図７（ｃ）は、図７（ｂ）の高解像度画像ＩＭＧｈを、正面視変換した画像ＩＭＧｇを示す。図７（ａ）～（ｃ）の処理を、カメラの位置を変えながら、言い換えると異なる時刻において得られたカメラ画像に対して繰り返すことで、複数の正面視高解像度画像ＩＭＧｇが生成される。そしてそれらを結合することにより、図１（ｂ）の最終画像ＩＭＧｆを得ることができる。

続いて、撮影装置１００の具体的な構成を、実施例を参照して説明する。

図８は、実施例に係る撮影装置２００のブロック図である。撮影装置２００は、画像撮影部２０２、入力画像決定部２０４、鮮明化処理部２０６、正面視画像合成部２０８、画像出力部２１０を備える。

入力画像決定部２０４は、画像の取得手段であり、図２のカメラ１１０に対応する。入力画像決定部２０４は、カメラと、カメラを移動させる手段、カメラの位置あるいは移動距離を取得する手段、カメラの姿勢を制御する手段などを含みうる。入力画像決定部２０４が撮影した画像は、位置情報とともに、入力画像決定部２０４に入力される。

入力画像決定部２０４、鮮明化処理部２０６、正面視画像合成部２０８は、図２の画像処理部１２０に対応付けることができる。

入力画像決定部２０４は、画像撮影部２０２において得られた画像および位置情報を受け、入力された画像の一部分（図７（ｂ）の所定領域ＲＧＮｃに相当、以下、選択領域という）を選択し、それを出力する。選択領域は、カメラから遠くに位置する比較的広い範囲を撮影した領域であり、カメラから遠すぎて鮮明度（実効的な解像度）が低い領域である。選択領域は、線状（ベクトル）であってもよいし、幅をもった領域（画像）であってもよい。選択領域の画像データは、位置情報とともに鮮明化処理部２０６に供給される。

鮮明化処理部２０６は、入力画像決定部２０４からの選択領域を受け、鮮明度を高めた画像を出力する。「鮮明化」とは、超解像処理のように、画像を拡大する機能や、ノイズを除去する機能（デノイジング）を含む。超解像処理の場合、選択領域がベクトルデータの場合は、その要素数を定数倍したサイズのベクトルを出力とする。選択領域が幅を持つ二次元画像データの場合は、縦方向と横方向のピクセル数を定数倍したサイズの画像を出力するものとする。鮮明化処理部２０６の出力は、高解像化された画像（一次元のベクトルあるいは二次元画像）およびその位置情報を含む。高解像度画像を生成する手段としては、図２の学習済みモデル１２２を用いることができる。

図９（ａ）、（ｂ）は、正面視画像合成部２０８の処理を説明する図である。正面視画像合成部２０８は、鮮明化処理部２０６から出力される高解像度画像を、それとともに出力された位置情報を利用して繋ぎ合わせて、１枚の大きな最終画像ＩＭＧｆを生成する。高解像度画像が一次元画像（ベクトル）である場合には、図９（ａ）に示すように、複数の高解像度画像Ｌ１～Ｌｎを横方向に結合すればよい。高解像度画像が二次元画像である場合には、図９（ｂ）に示すように、のりしろ部４を設けて貼り合わせてもよい。この場合、のりしろ部４での画素値は、対応する画素の平均値を用いたり、最大値を用いてもよい。この処理によって、正面視画像を得ることができる。貼り合わせ処理の結果、接合部において異様なエッジなどが生じる場合、それを滑らかにする後処理を行ってもよく、たとえばガウシアンフィルタやウィーナーフィルタなどを用いることができる。

なお、貼り合わせの前処理、あるいは後処理として、正面視した画像に近づけるために、カメラの位置情報補正などの変換処理を行ってもよい。

図８に戻る画像出力部２１０は、正面視画像合成部２０８によって得られた最終画像ＩＭＧｆを出力する。画像出力部２１０は、ディスプレイを備え、最終画像ＩＭＧｆをユーザに視覚的に提示してもよい。画像出力部２１０は、拡大縮小機能を有してもよい。また、最終画像が複数存在するような場合には、それらを同時に表示する機能、それらを択一的に表示する機能を備えてもよい。最終画像のサイズが大きい場合には、スライドバーなどのＧＵＩ（Graphical User Interface）によって、表示部分を変化させるようにしてもよい。

また、画像出力部２１０は、ユーザにとって関心がある部分（たとえば異常部分や損傷部分）にマーカー付して強調表示する機能を有してもよい。またユーザが関心を持つ部分の位置情報を計算し、その値を表示する機能を有してもよい。なお、画像出力部２１０は、最終画像ＩＭＧｆのデータを、記憶媒体に保存してもよい。

図１０は、ディスプレイのユーザインタフェースを示す図である。ディスプレイ３００の領域３０２には、カメラの出力画像が表示される。この領域３０２と付随して、再生、停止、巻き戻しのボタン３０６が設けられており、領域３０２に表示する画像（あるいはフレーム）を制御できるようになっている。

領域３０２には、マーキング３０８が表示可能となっている。マーキング３０８は、ユーザが指定する領域であり、マーキング３０８の表示の有無は、マーキングボタン３１０によって制御可能である。たとえば撮影装置２００が診断装置である場合には、マーキング３０８で囲まれる領域が、異常検出処理の対象となり、領域内の異常箇所や損傷箇所が検出される。

領域３１０には、画像処理によって得られた最終画像ＩＭＧｆが表示される。領域３１０は、複数のコラム３１２に分割されてもよい。たとえば、複数のコラム３１２には、最終画像ＩＭＧｆの異なる部分を選択的に表示してもよい。また、狭隘部の右側と左側の両方の正面視画像を生成する場合には、複数のコラム３１２の一方に左側面の最終画像を、他方に右側面の最終画像を表示してもよい。コラム３１２に、最終画像の全体が表示できない場合には、スライドバー３１４を表示するようにして、表示範囲をユーザが選択できるようにしてもよい。スライドバー３１４に加えて、あるいはそれに代えて、画像を拡大、縮小するためのボタンを追加してもよい。

領域３１０にも、マーキング３１６が表示可能であり、マーキング３１６の表示部（つまり３１０）は、ボタン３２０，３２２によって拡大、縮小の制御が可能となっている。

以上が撮影装置２００の構成である。撮影装置２００によれば、広い範囲が撮影された正面視画像を生成することができ、人間が目視で画像中のどこに何が存在するのかを発見することが容易となる。さらに歪みが殆どないため、どこに何が存在するかを、画像認識処理により自動的に見つけることが容易となる。したがって、撮影装置２００の出力を利用した、目視処理や自動画像認識処理の精度を向上できる。

撮影装置１００や撮影装置２００の用途は特に限定されないが、トンネルや土管、コークス炉など、測定対象が細長く、カメラを壁面に正対させることができない場合、設置することが困難な場合に広く適用できる。

以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。

（変形例１）
これまでの超解像処理では、ひとつの注視部分の高解像度画像を、１枚の画像を利用して生成したが、変形例１では、異なる距離で撮影された複数のカメラ画像のセットを利用して、ひとつの注視部分の高解像度画像を生成する。図１１は、変形例１に係る超解像処理を説明する図である。図１１には、異なる時刻において得られる、言い換えると、同じ注視部分を異なる距離から撮影した複数（この例では３枚）のカメラ画像が示される。複数のカメラ画像それぞれに対して、同じ注視部分を包含するように、固有の領域が定められている。各カメラ画像から、固有の領域の画像をクロップし、３枚の低解像度画像ＩＭＧｌ１～ＩＭＧｌ３が生成される。３枚の低解像度画像ＩＭＧｌ１～ＩＭＧｌ３に超解像処理を施すことにより、３枚の高解像度中間画像ＩＭＧｈ１～ＩＭＧｈ３が得られる。３枚の高解像度中間画像ＩＭＧｈ１～ＩＭＧｈ３を合成し、１枚の高解像度画像ＩＭＧｈが生成される。

（変形例２）
図１２は、変形例２に係る超解像処理を説明する図である。図６（ａ）、（ｂ）の超解像処理では、クロップする領域が、注視部分の全体を含むように定められていた。これに対して図１２の変形例では、注視部分の一部をクロップして、超解像処理を施す。図１２の左側は、注視部分４００から遠いときに得られる画像を、図１２の右側は、注視部分４００に近いときに得られる画像を示す。図１２の画像中、符号４０２はカメラが注視部分に近づいたときに、フレームアウトする部分を表す。この変形例では、この部分４０２をクロップし、クロップした画像に超解像処理を施す。その結果、カメラが注視部分に近接したときにフレームアウトする部分の高解像度な画像部分（高解像度部分画像）４０４が得られる。また、カメラが注視部分に近接したときに得られる画像にフレームインしている注視部分の範囲４０６が選択され、２つの部分４０４と４０６を結合することにより、高解像度画像ＩＭＧｈを生成できる。

２狭隘部
１００撮影装置
１１０カメラ
１２０画像処理部
１２２学習済みモデル
２００撮影装置
２０２画像撮影部
２０４入力画像決定部
２０６鮮明化処理部
２０８正面視画像合成部
２１０画像出力部

Claims

狭隘部の側方の正面視画像を生成する撮影装置であって、
前記狭隘部を奥行き方向に移動しながら撮影するカメラと、
学習段階で導かれた学習済みモデルにもとづく変換器を有し、実動作中に、前記カメラから順次出力されるカメラ画像にもとづいて、前記正面視画像を生成する画像処理部と、
を備え、
前記学習済みモデルは、学習段階において前記カメラを奥行き方向に移動しながら撮影された複数のサンプル画像のうち、所定の第１部分に狭隘部に存在する物体あるいは部分である注視部分が写っている第１画像と、所定の第２部分に前記注視部分が写っている、第１画像よりも奥側で撮影された第２画像と、のペアを利用して、前記第１画像の前記注視部分の像Ｘと前記第２画像の前記注視部分の像Ｙとの相関から導かれたものであり、前記学習済みモデルにもとづく変換器は、前記像Ｘから前記像Ｙへの変換を実行可能に構成され、
前記画像処理部は、前記実動作中に、前記カメラ画像から所定領域をクロップし、クロップした画像を前記変換器に入力して前記所定領域を高さ方向について高解像度処理した高解像度画像を生成し、前記カメラの移動にともない生成される複数の前記高解像度画像を合成し、前記正面視画像を生成することを特徴とする撮影装置。
前記所定領域は、前記第１部分を含み、前記第１部分よりも高さ方向に長く定められ、
前記画像処理部は、前記カメラの移動にともない順次生成される前記高解像度画像を横方向に結合し、前記正面視画像を生成することを特徴とする請求項１に記載の撮影装置。
前記所定領域は、前記第１部分の上側に隣接し、前記第２画像において前記注視部分が高さ方向にフレームアウトする部分に対応付けて定められ、
前記画像処理部は、
前記カメラが移動しながら撮影したカメラ画像のうちのひとつから前記所定領域をクリップして前記変換器に入力して高解像度な第１画像部分を生成し、
前記カメラが移動しながら撮影したカメラ画像のうち、前記第２部分に前記注視部分が写っている別のカメラ画像から、前記注視部分の範囲を選択して第２画像部分を生成し、
前記第１画像部分と前記第２画像部分とを高さ方向に連結して前記高解像度画像を生成し、
前記カメラの移動にともない複数の生成される前記高解像度画像を合成し、前記正面視画像を生成することを特徴とする請求項１に記載の撮影装置。
前記画像処理部は、異なる時刻において撮影された複数の前記カメラ画像を含む画像セットにもとづいて高解像度画像を生成することを特徴とする請求項１に記載の撮影装置。
前記画像セットに含まれる複数のカメラ画像それぞれについて、同じ物体が写るべき異なる位置に所定領域が定められており、
前記画像処理部は、各カメラ画像から対応する所定領域をクロップし、クロップした画像を前記学習済みモデルに入力して高解像度中間画像を生成し、
前記複数のカメラ画像について得られた複数の高解像度中間画像を合成して、前記高解像度画像を生成することを特徴とする請求項４に記載の撮影装置。
前記高解像度画像は、ベクトルデータであることを特徴とする請求項２から５のいずれかに記載の撮影装置。