JP2014099921A - 映像整合方法および装置 - Google Patents
映像整合方法および装置 Download PDFInfo
- Publication number
- JP2014099921A JP2014099921A JP2014027930A JP2014027930A JP2014099921A JP 2014099921 A JP2014099921 A JP 2014099921A JP 2014027930 A JP2014027930 A JP 2014027930A JP 2014027930 A JP2014027930 A JP 2014027930A JP 2014099921 A JP2014099921 A JP 2014099921A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- level
- motion vector
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
【課題】 映像整合方法および装置が提供される。
【解決手段】 本発明の実施形態による映像整合方法は、第1映像および第2映像を獲得する段階、各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て、映像ピラミッドを生成する段階および最上位レベルの映像から最下位レベルの映像まで順次に、同一レベルの二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の方向に最適移動方向を求め、最適移動方向に基づいてモーションベクターを更新し、更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新する段階を含む。
【選択図】 図1
【解決手段】 本発明の実施形態による映像整合方法は、第1映像および第2映像を獲得する段階、各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て、映像ピラミッドを生成する段階および最上位レベルの映像から最下位レベルの映像まで順次に、同一レベルの二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の方向に最適移動方向を求め、最適移動方向に基づいてモーションベクターを更新し、更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新する段階を含む。
【選択図】 図1
Description
本発明は映像整合方法および装置に関するものであって、より詳細には映像ピラミッドを使用して各ピラミッドレベルで目的関数の計算量を減らし、映像整合を速く実行することができ、整合される二つの映像の間に特性の差が大きい場合にも安定した性能を示す映像整合方法および装置に関するものである。
一般的に映像整合(alignment、registration)とは、互いに異なる二枚の映像あるいはそれ以上の映像で物理的に類似の映像内の領域を幾何学的に一致させる処理をいう。
最近では、単一のイメージセンサから獲得した多重露出基盤のハイダイナミックレンジ映像(high dynamic range(HDR) image)のための整合や手の震えによるモーションデブラーリング(motion deblurring)のための整合だけではなく、互いに異なる方式(modality)の多数の映像獲得装置から獲得した映像を整合する技術が発展している。互いに異なる方式の多数の映像獲得装置から映像を獲得して映像を整合する一例として、一般カメラ映像と赤外線映像あるいはCTとMRI映像を合成する場合を挙げることができる。
従来の映像整合の方法で、目的関数で使用される値が輝度(luminance)を基盤とする場合には明るさやモーションブラー(motion blur)などの撮影条件が類似であるという仮定の下でのみ適用が可能であった。しかし、実際において整合の対象となる二つの映像を獲得する時、撮影条件が相異なって映像の特性の差異が大きく生じる場合があるが、この時動きの推定を失敗する場合が生じる。例えばハイダイナミックレンジ(HDR)映像を生成するために露出時間を異にした二つの映像を整合した場合、極端な明るさの差異によって非常に明るいか暗い領域ではエッジ(edge)情報が失われる場合が生じ、多重露出基盤のモーションデブラーリングをする場合にも各映像間に露出時間の差異によってモーションブラー量の差異が生じ、従来の方法では映像を整合できない場合が生じた。
また、従来の相互情報(mutual information)、正規化相互情報(normalized mutual information)のような確率基盤方法を用いて映像を整合する方法は、映像特性の差異が大きく生じる場合にも整合の安全性を高めることができるという長所があるが、計算量が多くオンライン上で作動するカメラシステムには使用し難いという問題点があった。
本発明は前記した問題点を改善するために考案されたものであり、本発明が成そうとする目的は、ピラミッド映像を用いて各ピラミッドレベルで五回の目的関数の計算だけで映像を整合し、整合速度を向上させて、目的関数を計算する時、既存の確率基盤方法を使用して映像間特性の差異が大きい場合にも安定的に映像を整合できるようにすることにある。
本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解できるであろう。
前記目的を達成するために、本発明の一実施形態による映像整合方法は、第1映像および第2映像を獲得する段階と、前記各映像に対して縦横のサイズを半分に減らすサブサンプリング(sub−sampling)過程を経て映像ピラミッドを生成する段階、および最上位レベルの映像から最下位レベルの映像まで順次に、同一レベルの二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の方向に最適移動方向を求め、前記最適移動方向に基づいてモーションベクターを更新し、前記更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新する段階と、を含む。
前記目的を達成するために、本発明の一実施形態による映像整合装置は、イメージセンサで第1映像および第2映像を獲得する映像獲得部と、前記獲得した各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成するピラミッド生成部と、同一レベルの二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の方向に最適移動方向を求める方向計算部と、前記最適移動方向に基づいてモーションベクターを更新するモーションベクター計算部、および前記更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新する映像更新部を含み、最上位レベルの映像から最下位レベルの映像まで順次に、前記モーションベクター計算部は前記モーションベクターを更新して、前記更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新して映像を整合する。
実施形態の具体的な事項は詳細な説明および図に含まれている。
前記したような本発明の映像整合方法および装置によれば次のような効果が一つあるいはそれ以上ある。
最初にピラミッド映像を用いて各ピラミッドレベルで5回の目的関数の計算だけで映像を整合することができるため、整合の速度を向上させることができるという長所がある。
次に、映像整合のための計算量を減らし、オンライン上で動作するカメラシステムなどでも適用が可能であり、ハードウェア具現が容易であるという長所もある。
最後に、各ピラミッドレベルで5回の目的関数の計算だけでも映像整合が可能であるため、目的関数を計算する時、計算量が多い相互情報、正規化相互情報アルゴリズムなどの確率基盤方法を使用することによって映像間の明るさ、モーションプルロ(motion blur)、方式(modality)などの特性差異が大きい場合にも安定的に映像を整合できるという長所もある。
本発明の利点および特徴、並びにそれらを達成する方法は、添付する図面と共に後述する実施形態を参照することにより明確になる。しかし、本発明の目的は、以下で開示される実施形態に限定されず、相異なる多様な形態によっても達成可能である。したがって、以下の実施形態は単に、本発明の開示を十全たるものとし、当業者に本発明の範囲を認識されるために提供するものである。すなわち、本発明の範囲はあくまで、請求項に記載された発明によってのみ規定される。
以下、本発明の実施形態による映像整合方法および装置を説明するためのブロック図または処理フローチャートに関する図を参考して本発明について説明する。この時、処理フローチャート図の各ブロックとフローチャート図の組み合せはコンピュータプログラムインストラクションによって実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、凡庸コンピュータ、特殊用コンピュータまたはその他プログラム可能なデータプロセシング装備のプロセッサーに搭載されうるので、コンピュータまたはその他プログラム可能なデータプロセシング装備のプロセッサーを通じて実行されるそのインストラクションがフローチャートブロックで説明された機能を行う手段を生成するように機構を作られる。これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラマブルデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートブロックで説明された機能を実行するための段階を提供することも可能である。
図1は本発明の一実施形態による映像整合方法の順序図である。
本発明の一実施形態による映像整合方法は、映像獲得装置から第1映像および第2映像を獲得する段階(S110)、獲得した各映像を単一チャネルの映像に変換させる段階(S120)、サブサンプリング過程を経て映像ピラミッドを生成する段階(S130)、および最上位レベルの映像から最下位レベルのピラミッド映像まで順次に、同一レベルの二つの映像から最適移動方向を求め(S150、S200)、最適移動方向に基づいてモーションベクターを更新し(S160)、更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新する段階(S190、S210)を含む。
先に、イメージセンサを有する映像獲得部510から整合を実行する二つの映像(第1映像、第2映像)を獲得する(S110)。
イメージセンサは、被写体で反射された光を電気的なイメージ信号に変換して、映像を生成して出す映像撮像素子部品を称するものであって、その製作工程と応用方式によって大きく電荷結合素子(CCD;Charge Coupled Device)イメージセンサと金属酸化物半導体(CMOS;Com−plementary Metal Oxide Semiconductor)イメージセンサで分類することができる。
後述する内容であるが、本発明では単一映像獲得装置から二つの映像を獲得する場合だけでなく、互いに異なる方式(modality)を有する複数の映像獲得装置から映像を獲得する場合にも安定的に映像整合を実行することができる。例えば、一般カメラから獲得した映像と赤外線カメラから獲得した映像、CT映像とMRI映像との間でも整合を安定的に実行することができるため、すべての映像システムに幅広く適用が可能である。したがって、映像整合のための二つの映像を獲得する時、映像獲得装置の種類および数に制限されない。
次に、映像変換部520は獲得した二つの映像に対して単一チャネルの映像で映像変換を実行することができる(S120)。単一チャネルの映像の一例としてグレースケール(gray scale)映像を挙げることができる。または、RGBチャネルを使用する場合R、G、Bのうち一つのチャネル値を用いて単一チャネルの映像に変換させることもできるだろう。
獲得した映像を単一チャネルの映像に変換させるので、入力映像は映像獲得装置の方式と関係なくカラー映像だけではなく、白黒映像、赤外線映像、またはCT、MRIなどの医療映像などすべての種類の映像を用いて整合を実行することができる。
次に、ピラミッド生成部530は獲得した二つの映像または獲得した映像を単一チャネルの映像に変換した二つの映像に対してそれぞれの映像ピラミッドを生成する(S130)。
図2は、本発明の一実施形態による縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドの構成を示す図であり、図3は、実際映像で縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドを示す図である。
映像整合において、映像ピラミッドは多くの場合、遠視映像で特定のモーションベクターを抽出しようとするとき、処理しなければならないデータ量が非常にぼう大で長い処理時間が必要とされる問題点を解決するために映像が有している特性を維持しつつ処理される映像のサイズを縮小する方法で広く使用される。
図2および図3のように原本映像と同じサイズの映像をレベル0、映像を段階的に縮小させつつ最も小さいサイズの映像をレベルn(図3ではn=5)とし、映像の大きさが小さくなるほど上位レベルの映像とする時、上位レベルに行くほど解像度は低くなり下位レベルに行くほど解像度は高くなる。
本発明においては、一段階上位レベルの映像を生成する時、横および縦のサイズを各々1/2に減らすサブサンプリングを各レベル別に行い映像ピラミッドを生成する。すなわち、上位レベルに行くほどピクセルの数は1/4に減り、映像のサイズも1/4に減る。サブサンプリングの方法で映像を2*2ピクセルの領域に分けて、各領域の2*2のうち特定位置のピクセルだけを集めて新たな映像を生成する方法を挙げることができる。したがって、2*2ピクセル領域のうち、一つのピクセルだけを用いて上位レベルのピラミッド映像を生成するので上位レベルに行くほど面積のサイズは1/4に減り、解像度は落ちる。
また図1を参照すると、最上位レベルから順次に最下位レベルにモーションベクターを更新しつつ映像整合を実行する。
先に、現在レベルを第1映像と第2映像の映像ピラミッドで最も小さいサイズの最上位レベルの映像に設定し(S140)、方向計算部540は最上位レベルの二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の方向に最適移動方向を求める(S150)。図4は、本発明の一実施形態による最適移動方向の推定に使用される五種類方向を示す図であり、図5と共に五種類方向に対してモーションベクターを求めるための目的関数と設定し、五種類方向に計算された目的関数のうち、最大値に該当する場合を探す。目的関数値のうち最大値を有する方向が五種類方向のうち最適移動方向となる。したがって最上位レベルであるレベルnで最適移動方向である
最適移動方向を求めるため、五種類方向に目的関数を設定し、映像の類似性を判断する方法で従来の輝度基盤方法または確率基盤方法を使用することができる。輝度基盤方法で既存の相関関係(correlation)、正規化された相関関係(normalized correlation)およびSAD(sum of the absolute difference)などのアルゴリズムを使用することができる。そして、確率基盤方法で相互情報、正規化相互情報などのアルゴリズムを使用することができる。相関関係、正規化された相関関係、SAD、相互情報、正規相互情報は既存の公知されたアルゴリズムおよび方法で本明細書ではこれに関する詳しい説明を省略する。
前述した通り、映像整合のために確率基盤方法を使用する場合、映像間の特性差異が大きい場合にも安定的に映像を整合することができるが、計算量が多いという問題点があったが、本発明では各レベル別に5個の目的関数だけを計算すれば良いので確率基盤方法を使用したとしても計算量が多くなく、整合の速度が速いという長所がある。
最上位レベルで最適移動方向を救った後、モーションベクター計算部550はこれに基づいてモーションベクターを求める(S160)。最上位レベルで求めた最適移動方向
次に、現在レベルを最上位レベルより一段階低い下位レベル(n−1レベル)のピラミッド映像に設定して(S180)、映像更新部560は最上位段階で求めたモーションベクターに基づいて現在レベル(n−1レベル)の第1映像を更新する(S190)。この時、現在レベルの第1映像を更新するためのモーションベクターは
次に、方向計算部540は、n−1レベルの更新された第1映像と既存映像ピラミッドの第2映像から最適移動方向を求める(S200)。最適移動方向を求める方法は前述した通りであり、n−1レベルで求めた最適移動方向は、同様に(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)うち一つの値を有する。
次に、レベルn−1で求めた最適移動方向
また、方向計算部540は、更新されたレベルn−2の第1映像とn−2レベルの第2映像に対して最適移動方向を計算し(S200)、モーションベクターを更新する(S160)。このような過程を最下位レベルのピラミッド映像に至るまで順次に繰り返し実行する。
順次に繰り返し実行すれば、現在レベルがレベル1である時、S160で更新されたモーションベクターは
最終的に最下位レベルの映像を更新するためのモーションベクターは
図5は、映像ピラミッドの各レベルで求めた最適移動方向(動きベクター)を示す図であり、図6は、本発明の一実施形態による映像ピラミッドの各レベルで求めた最適移動方向から最終的に更新されたモーションベクターを示す図である。
図5を参照すると、前述した通り、各レベルの映像の間に最適移動方向を求めるが最上位レベルnでは最初原本映像ピラミッドの間で最適移動方向を求める。反面、その他のすべての下位レベルでの最適移動方向は上位レベルで求めたモーションベクターに基づいて更新されたピラミッド映像の第1映像と最初原本映像ピラミッドの第2映像との間で求める点が異なる。最上位レベルのレベルnでレベル0まで求めた最適移動方向
図7は、本発明の一実施形態による映像整合装置のブロック図である。
本発明の一実施形態による映像整合装置は映像獲得部510、ピラミッド生成部530、方向計算部540、モーションベクター計算部550および映像更新部560を含み得る。また、映像変換部520をさらに含み得る。
この時、本実施形態で使用される「〜部」という一種のモジュールとして具現されうる。ここで「モジュール」は、ソフトウェアまたはField Programmable Gate Array(FPGA)または注文型半導体(Application Specific Integrated Circuit、ASIC)のようなハードウェア構成要素を意味し、モジュールはある役割を果たす。しかし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールはアドレッシングできる保存媒体にあるように構成されることもでき、一つまたはそれ以上のプロセッサーを再生させるように構成されることもできる。したがって、一例としてモジュールは、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールのうち、提供される機能はさらに小さい数の構成要素および「〜部」に結合されたり、追加的な構成要素およびモジュールに結合されたり、追加的な構成要素とモジュールでさらに分離することができる。
映像獲得部510は、被写体から反射された光エネルギーを検出して、電気的信号に変換するイメージセンサを含むが、二つの映像(第1映像、第2映像)を獲得する。
ピラミッド生成部530は、映像獲得部510で獲得した第1映像、第2映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成する。
方向計算部540は、同一レベルの二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の方向に最適移動方向を求める。最適移動方向は、輝度基盤方法と確率基盤方法うち一つを用いて求めることができる。輝度基盤方法で既存の相関関係、正規化された相関関係およびSAD(sum of the absolute difference)などのアルゴリズムを使用することができる。そして、確率基盤方法で相互情報、正規化相互情報などのアルゴリズムを使用することができる。
モーションベクター計算部550は、現在レベルで求めた最適移動方向に基づいてモーションベクターを更新する。モーションベクターを更新することは前述したので詳しい説明は省略する。
映像更新部560は、モーションベクター計算部で求めたモーションベクターに基づいて次の下位レベルの第1映像を更新する。
この時、モーションベクターの更新と第1映像の更新は最上位レベルで最下位レベルに順次に行われるが、更新されたモーションベクターに基づいて下位レベルの第1映像を更新して、更新された第1映像と原本映像ピラミッドの第2映像からモーションベクターを更新する方法を繰り返して最終的に映像整合のためのモーションベクターを求める。
映像変換部520は、映像獲得部で獲得した第1映像、第2映像各々に対してグレースケール変換を実行することができる。
本発明が属する技術分野の通常の知識を有する者は、本発明を、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態で実施されうるということを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的ではないと理解しなければならない。本発明の範囲は前記詳細な説明よりは特許請求の範囲によって示され、特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈しなければならない。
510 映像獲得部
520 映像変換部
530 ピラミッド生成部
540 方向計算部
550 モーションベクター計算部
560 映像更新部
520 映像変換部
530 ピラミッド生成部
540 方向計算部
550 モーションベクター計算部
560 映像更新部
Claims (1)
- 第1映像および第2映像を取得する段階と、
前記各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成する段階と、
最上位レベルの映像から最下位レベルの映像まで順次に、前記第1映像及び第2映像のそれぞれに対応して生成された映像ピラミッドにおいて同一レベルにある二つの映像から(−1、0)、(1、0)、(0、0)、(0、−1)、および(0、1)の何れかの方向を最適移動方向として求め、前記最適移動方向に基づいてモーションベクターを更新し、前記更新されたモーションベクターに基づいて次の下位レベルの第1映像を更新する段階とを含み、
前記取得した各映像を単一チャネルの映像に変換する段階をさらに含む、
映像整合方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2007-0092231 | 2007-09-11 | ||
KR20070092231A KR101411639B1 (ko) | 2007-09-11 | 2007-09-11 | 영상 정합 방법 및 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008232711A Division JP5595646B2 (ja) | 2007-09-11 | 2008-09-10 | 映像整合方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014099921A true JP2014099921A (ja) | 2014-05-29 |
Family
ID=40431896
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008232711A Active JP5595646B2 (ja) | 2007-09-11 | 2008-09-10 | 映像整合方法および装置 |
JP2014027930A Pending JP2014099921A (ja) | 2007-09-11 | 2014-02-17 | 映像整合方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008232711A Active JP5595646B2 (ja) | 2007-09-11 | 2008-09-10 | 映像整合方法および装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8300985B2 (ja) |
JP (2) | JP5595646B2 (ja) |
KR (1) | KR101411639B1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111892B2 (en) * | 2008-06-04 | 2012-02-07 | Medison Co., Ltd. | Registration of CT image onto ultrasound images |
EP2130497A1 (en) * | 2008-06-05 | 2009-12-09 | Medison Co., Ltd. | Anatomical feature extraction from an ultrasound liver image |
EP2194506B1 (en) | 2008-12-02 | 2016-03-09 | Samsung Medison Co., Ltd. | Image based registration |
KR101614914B1 (ko) | 2009-07-23 | 2016-04-25 | 삼성전자주식회사 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
US9545242B2 (en) | 2009-07-31 | 2017-01-17 | Samsung Medison Co., Ltd. | Sensor coordinate calibration in an ultrasound system |
KR101121396B1 (ko) * | 2009-07-31 | 2012-03-05 | 한국과학기술원 | 2차원 초음파 영상에 대응하는 2차원 ct 영상을 제공하는 시스템 및 방법 |
KR101121286B1 (ko) | 2009-07-31 | 2012-03-23 | 한국과학기술원 | 센서의 교정을 수행하는 초음파 시스템 및 방법 |
JP5574792B2 (ja) | 2010-04-13 | 2014-08-20 | キヤノン株式会社 | 撮影装置 |
US8478076B2 (en) | 2010-07-05 | 2013-07-02 | Apple Inc. | Alignment of digital images and local motion detection for high dynamic range (HDR) imaging |
US8611692B2 (en) | 2011-09-26 | 2013-12-17 | Northrop Grumman Systems Corporation | Automated image registration with varied amounts of a priori information using a minimum entropy method |
EP2648157A1 (en) | 2012-04-04 | 2013-10-09 | Telefonaktiebolaget LM Ericsson (PUBL) | Method and device for transforming an image |
CN103546673B (zh) * | 2012-07-09 | 2018-02-27 | 联想(北京)有限公司 | 在运动场景下生成高动态图像的方法及装置 |
CN105472263B (zh) * | 2014-09-12 | 2018-07-13 | 聚晶半导体股份有限公司 | 影像撷取方法及使用此方法的影像撷取设备 |
KR102274320B1 (ko) | 2014-10-16 | 2021-07-07 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
CN105243657B (zh) * | 2015-09-08 | 2018-01-19 | 首都医科大学附属北京安贞医院 | 基于增强弹性形变的carto电解剖图与ct图像配准方法和装置 |
US11287498B2 (en) * | 2018-05-31 | 2022-03-29 | Ihsan Dogramaci Bilkent Universiti | Gradient array system for MRI and application on diffusion weighted imaging |
CN116071226B (zh) * | 2023-03-06 | 2023-07-18 | 中国科学技术大学 | 基于注意力网络的电镜图像配准***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10134193A (ja) * | 1996-10-31 | 1998-05-22 | Oki Electric Ind Co Ltd | 移動ベクトル算出方法及び装置 |
JP2007049545A (ja) * | 2005-08-11 | 2007-02-22 | Casio Comput Co Ltd | 画像合成装置、画像合成方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2663178B1 (fr) * | 1990-06-06 | 1995-07-21 | Thomson Csf | Procede d'estimation hierarchique du mouvement dans une sequence d'images. |
US5548346A (en) * | 1993-11-05 | 1996-08-20 | Hitachi, Ltd. | Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method |
JP2002232838A (ja) * | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | デジタルカメラ |
US20020154833A1 (en) * | 2001-03-08 | 2002-10-24 | Christof Koch | Computation of intrinsic perceptual saliency in visual environments, and applications |
JP2004343483A (ja) * | 2003-05-16 | 2004-12-02 | Acutelogic Corp | 手振れ補正装置および方法、手振れ検出装置 |
US7616836B2 (en) * | 2004-05-25 | 2009-11-10 | Siemens Medical Solutions Usa, Inc. | Method and system for motion compensation in a temporal sequence of images |
WO2006012375A1 (en) * | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for motion vector processing |
EP1657679A1 (en) * | 2004-11-10 | 2006-05-17 | Agfa-Gevaert | Method of superimposing images |
JP2008053875A (ja) * | 2006-08-23 | 2008-03-06 | Sony Corp | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 |
-
2007
- 2007-09-11 KR KR20070092231A patent/KR101411639B1/ko active IP Right Grant
-
2008
- 2008-08-20 US US12/222,963 patent/US8300985B2/en active Active
- 2008-09-10 JP JP2008232711A patent/JP5595646B2/ja active Active
-
2014
- 2014-02-17 JP JP2014027930A patent/JP2014099921A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10134193A (ja) * | 1996-10-31 | 1998-05-22 | Oki Electric Ind Co Ltd | 移動ベクトル算出方法及び装置 |
JP2007049545A (ja) * | 2005-08-11 | 2007-02-22 | Casio Comput Co Ltd | 画像合成装置、画像合成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20090067752A1 (en) | 2009-03-12 |
US8300985B2 (en) | 2012-10-30 |
JP5595646B2 (ja) | 2014-09-24 |
KR101411639B1 (ko) | 2014-06-24 |
KR20090027053A (ko) | 2009-03-16 |
JP2009071821A (ja) | 2009-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5595646B2 (ja) | 映像整合方法および装置 | |
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
JP5284048B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US20090180704A1 (en) | Method and system for processing low-illuminance image | |
CN109328454B (zh) | 图像处理装置 | |
CN103841298B (zh) | 一种基于颜色恒量和几何不变特征的视频稳像方法 | |
JPWO2011099244A1 (ja) | 画像処理装置および画像処理方法 | |
JP2010166558A (ja) | 撮像装置 | |
JP2009033392A (ja) | パノラマ画像生成装置およびプログラム | |
JPWO2019092844A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2017195267A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2010092835A1 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
US10116865B2 (en) | Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2017220885A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2015216459A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2015152742A (ja) | 撮像装置及びその制御方法 | |
JP2016212813A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101440098B1 (ko) | 저복잡도 움직임 추정 방법 및 시스템 | |
JP2015149656A (ja) | 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法 | |
CN112565588B (zh) | 图像处理设备、图像处理方法和存储介质 | |
JP7357596B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
CN104933390B (zh) | 生成皮肤图像的方法、装置以及电子设备 | |
US11528426B2 (en) | Image sensing device and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150609 |