JP6369604B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6369604B2 JP6369604B2 JP2017112271A JP2017112271A JP6369604B2 JP 6369604 B2 JP6369604 B2 JP 6369604B2 JP 2017112271 A JP2017112271 A JP 2017112271A JP 2017112271 A JP2017112271 A JP 2017112271A JP 6369604 B2 JP6369604 B2 JP 6369604B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- frame
- image
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
近年、実空間に仮想物体が存在するかのように重畳させる拡張現実技術を用いた拡張現実感システム(AR(Augmented Reality:拡張現実)システム)が用いられるようになってきている。例えば、AR用のマーカを含む画像を撮影すると、このマーカの種類及び配置した位置に対応して、撮影画像中に仮想物体画像を合成して表示する拡張現実感システムが知られている。
しかし、マーカを用いた拡張現実感システムでは、表示したい仮想物体画像の種類等に対応するマーカがそれぞれ必要となる。そこで、例えば、特許文献1には、マーカ掲示用携帯端末に、複数種類のマーカと仮想物体画像とを対応付けて記憶させておき、ユーザにより選択されたマーカをマーカ掲示用携帯端末に表示することで、複数のマーカの印刷物等を持ち歩かなくても複数種類の仮想物体の中から表示する仮想物体を選択できるようにした技術が記載されている。
しかしながら、特許文献1においても、1つのARマーカに対応付けられている仮想物体画像は一つであり、他の表示をさせるためにはユーザが選択操作をして、マーカ掲示用携帯端末に表示させるマーカの種類を切り替える必要があった。
本発明の課題は、一つのマーカで異なる複数の表示ができるようにすることである。
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像取得手段と、
前記画像取得手段により取得された第一の画像内に所定のマーカがフレームインした場合、前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記フレームイン方向認識手段により認識された前記マーカがフレームインした方向に応じた第二の画像を生成する生成手段と、
を備えることを特徴とする。
画像取得手段と、
前記画像取得手段により取得された第一の画像内に所定のマーカがフレームインした場合、前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記フレームイン方向認識手段により認識された前記マーカがフレームインした方向に応じた第二の画像を生成する生成手段と、
を備えることを特徴とする。
本発明によれば、一つのマーカで異なる複数の表示を行うことが可能となる。
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
<画像処理装置1の構成>
まず、本実施形態に係る画像処理装置1の構成について説明する。
画像処理装置1としては、例えば、スマートフォン、タブレット端末、ノートPC(Personal Computer)、ハンディターミナル等の移動型端末が適用可能である。
まず、本実施形態に係る画像処理装置1の構成について説明する。
画像処理装置1としては、例えば、スマートフォン、タブレット端末、ノートPC(Personal Computer)、ハンディターミナル等の移動型端末が適用可能である。
図1に、画像処理装置1の機能構成例を示す。図1に示すように、画像処理装置1は、CPU(Central Processing Unit)10、RAM(Random Access Memory)11、記憶部12、通信部13、表示部14、操作部15、カメラ16、現在時刻取得部17等を備えて構成され、各部はバス18により接続されている。
CPU10は、記憶部12に記憶されているプログラムを読み出してRAM11のワークエリアに展開し、展開したプログラムに従って、後述する表示制御処理を始めとする各種処理を実行する。CPU10は、表示制御処理を実行することにより、フレームイン認識手段、フレームイン方向認識手段、フレームアウト認識手段、フレームアウト方向認識手段、マーカ認識手段、制御手段として機能する。
RAM11は、揮発性のメモリであり、CPU10により実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。
また、RAM11は、AR(Augmented Reality)マーカ5(図6参照)がフレームインした方向及びフレームアウトした方向の履歴情報を記憶するためのフレームイン/フレームアウト情報記憶部111を有する。
ここで、ARマーカ5は、表示部14の画面上に表示する情報(例えば、仮想物体画像等)を規定するための画像である。フレームインとは、カメラ16により取得された撮像画像を表示部14の画面上に表示させている場合において、当該画面上にARマーカ5がない状態から当該画面上にARマーカ5が入ってくることをいう。フレームアウトとは、カメラ16により取得された撮像画像を表示部14の画面上に表示させている場合において、表示部14の画面上に表示されていたARマーカ5が当該画面上からなくなる(出て行く)ことをいう。
ここで、ARマーカ5は、表示部14の画面上に表示する情報(例えば、仮想物体画像等)を規定するための画像である。フレームインとは、カメラ16により取得された撮像画像を表示部14の画面上に表示させている場合において、当該画面上にARマーカ5がない状態から当該画面上にARマーカ5が入ってくることをいう。フレームアウトとは、カメラ16により取得された撮像画像を表示部14の画面上に表示させている場合において、表示部14の画面上に表示されていたARマーカ5が当該画面上からなくなる(出て行く)ことをいう。
図2に、フレームイン/フレームアウト情報記憶部111のデータ格納例を示す。図2に示すように、フレームイン/フレームアウト情報記憶部111は、例えば、「順番」、「動作内容」、「方向」のフィールドを有する。「順番」は、動作が行われた順番を格納する。「動作内容」は、動作がフレームインであるか又はフレームアウトであるかを示す情報を格納する。「方向」は、フレームイン又はフレームアウトされた方向を示す情報を格納する。
記憶部12は、HDD(Hard Disk Drive)、半導体の不揮発性メモリ等により構成される。記憶部12には、例えば、図1に示すように、プログラム記憶部121、動作パターンデータベース122が設けられている。
プログラム記憶部121には、CPU10で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。例えば、プログラム記憶部121には、ARマーカアプリケーションプログラムが記憶されている。これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部121に格納されている。CPU10は、当該プログラムコードに従った動作を逐次実行する。
動作パターンデータベース122には、図3に示すように、ARマーカ5のフレームイン/フレームアウトの一連の動作パターンの情報と、その動作パターンに対応する表示情報(その動作パターンに応じて表示部14に表示する内容を示す情報)とが対応付けて格納されている。動作パターンの情報は、一連の動作を構成する各動作の内容(フレームインか、フレームアウトか)、順番、及びその方向(例えば、左から、右から、上から、下から)を含む。なお、フレームアウトはフレームインをしてから行われる動作であるため、奇数の順番の動作はフレームイン、偶数の順番の動作はフレームアウトである。また、動作パターンデータベース122には、各方向からの1回目のフレームインのみからなる動作パターンと、それぞれのフレームインの方向の動作に対応する表示情報とが対応付けて記憶されている。
また、記憶部12には、ARマーカ5の画像パターンを示すパターンファイルが記憶されている。
また、記憶部12には、ARマーカ5の画像パターンを示すパターンファイルが記憶されている。
通信部13は、LAN(Local Area Network)アダプタやルータ等により構成され、LAN等の通信ネットワークを介して外部装置と通信接続し、データ送受信を行う。
表示部14は、LCD(Liquid Crystal Display)等により構成され、CPU10からの表示制御信号に従って、画面上に各種表示を行う表示手段である。
操作部15は、カーソルキー、各種機能キー、シャッターキーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をCPU10に出力する。また、操作部15は、表示部14の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等で押下された位置を検出し、その位置情報を操作情報としてCPU10に出力する。
カメラ16は、レンズ、絞り、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備え、撮像素子上に被写体の光学像を結像し、その像を電気的な信号としてCPU10に出力する撮像手段である。
現在時刻取得部17は、RTC(Real Time Clock)等により構成され、現在日時を計測してCPU10に出力する。
現在時刻取得部17は、RTC(Real Time Clock)等により構成され、現在日時を計測してCPU10に出力する。
<画像処理装置1の動作>
次に、本実施形態における画像処理装置1の動作について説明する。
次に、本実施形態における画像処理装置1の動作について説明する。
図4に、画像処理装置1によって実行される表示制御処理のフローチャートを示す。表示制御処理は、操作部15によりARマーカアプリケーションの起動が指示された際に、CPU10とプログラム記憶部121に記憶されているARマーカアプリケーションプログラムとの協働により実行される。
まず、CPU10は、カメラ16を起動させる(ステップS1)。なお、カメラ16の起動後、表示制御処理の実行中において、カメラ16は、所定時間毎に撮像画像を取得する。CPU10は、カメラ16により取得された撮像画像を現在時刻取得部17からの現在時刻と対応付けてRAM11に記憶するとともに、略リアルタイムで表示部14の画面上に表示させる。
次いで、CPU10は、ARマーカ5のフレームインが認識されるのを待機する(ステップS2)。具体的には、CPU10は、カメラ16により所定時間毎に取得される撮像画像に対して画像処理によるARマーカ5の認識処理を行う。ARマーカ5の認識処理は、公知の手法により行うことができる。例えば、撮像画像から黒枠で囲まれた矩形領域を認識し、この黒枠で囲まれた領域内の画像パターンと記憶部12に記憶されているARマーカ5のパターンファイルとを比較し、一致率が所定の閾値以上である場合に、ARマーカ5を認識する。ARマーカ5が認識されていなかった状態から認識された状態となったときに、CPU10は、ARマーカ5がフレームインしたと認識する。
ARマーカ5のフレームインが認識されると(ステップS2;YES)、CPU10は、ARマーカ5のフレームインが認識された以降にカメラ16から取得された複数の撮像画像に基づいて、ARマーカ5の座標の軌跡を取得し、取得された軌跡に基づいて、ARマーカ5がフレームインした方向を認識する(ステップS3)。
具体的に、まず、CPU10は、撮像画像上にX軸、Y軸、及び座標の原点O(0,0)を設定する。次いで、図5に示すように、ARマーカ5が認識された状態となった撮像画像及びその後所定時間間隔でカメラ16により取得されたn枚の撮像画像のそれぞれからARマーカ5の中心座標P1(X,Y)、P2(X,Y)・・・Pn(X,Y)を求め、求めた中心座標群に対して回帰曲線Lを引く。そして、ARマーカ5が認識された状態となった撮像画像の中心座標P1(X,Y)から最も近い位置で回帰曲線とL交わった辺E(表示部14の画面枠の辺)をARマーカ5がフレームインした辺と認識し、ARマーカ5がフレームインした辺の方向をARマーカ5がフレームインした方向として認識する。例えば、ARマーカ5がフレームインした辺が左であれば、ARマーカ5がフレームインした方向は「左から」と認識する。
具体的に、まず、CPU10は、撮像画像上にX軸、Y軸、及び座標の原点O(0,0)を設定する。次いで、図5に示すように、ARマーカ5が認識された状態となった撮像画像及びその後所定時間間隔でカメラ16により取得されたn枚の撮像画像のそれぞれからARマーカ5の中心座標P1(X,Y)、P2(X,Y)・・・Pn(X,Y)を求め、求めた中心座標群に対して回帰曲線Lを引く。そして、ARマーカ5が認識された状態となった撮像画像の中心座標P1(X,Y)から最も近い位置で回帰曲線とL交わった辺E(表示部14の画面枠の辺)をARマーカ5がフレームインした辺と認識し、ARマーカ5がフレームインした辺の方向をARマーカ5がフレームインした方向として認識する。例えば、ARマーカ5がフレームインした辺が左であれば、ARマーカ5がフレームインした方向は「左から」と認識する。
次いで、CPU10は、フレームイン/フレームアウト情報記憶部111に、ARマーカ5がフレームインした方向の履歴情報を記憶する(ステップS4)。
次いで、CPU10は、RAM11のフレームイン/フレームアウト情報記憶部111に記憶されている履歴と一致する動作パターンが動作パターンデータベース122に記憶されているか否かを判断する(ステップS5)。
フレームイン/フレームアウト情報記憶部111に記憶されている履歴と一致する動作パターンが動作パターンデータベース122に記憶されていると判断した場合(ステップS5;YES)、CPU10は、動作パターンデータベース122においてその一致する動作パターンに対応付けて記憶されている表示情報に基づいて、表示部14に表示を行わせる(ステップS6)。即ち、ARマーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を表示部14に行わせる。例えば、表示部14に表示されている撮像画像中のARマーカ5の位置に、動作パターンに応じた仮想物体画像を合成して表示させる。
フレームイン/フレームアウト情報記憶部111に記憶されている履歴と一致する動作パターンが動作パターンデータベース122に記憶されていないと判断した場合(ステップS5;NO)、CPU10は、ステップS7の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。
フレームイン/フレームアウト情報記憶部111に記憶されている履歴と一致する動作パターンが動作パターンデータベース122に記憶されていると判断した場合(ステップS5;YES)、CPU10は、動作パターンデータベース122においてその一致する動作パターンに対応付けて記憶されている表示情報に基づいて、表示部14に表示を行わせる(ステップS6)。即ち、ARマーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を表示部14に行わせる。例えば、表示部14に表示されている撮像画像中のARマーカ5の位置に、動作パターンに応じた仮想物体画像を合成して表示させる。
フレームイン/フレームアウト情報記憶部111に記憶されている履歴と一致する動作パターンが動作パターンデータベース122に記憶されていないと判断した場合(ステップS5;NO)、CPU10は、ステップS7の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。
なお、上述のように、動作パターンデータベース122には、各方向からの1回目のフレームインのみからなる動作パターンと、それぞれのフレームインの方向に対応する表示情報とが対応付けて記憶されている。よって、初期状態から初めてフレームインが認識された際には、ARマーカ5がフレームインした方向に応じた所定の表示が行われる。
次いで、CPU10は、ARマーカ5のフレームアウトが認識されるのを待機する(ステップS7)。この間、CPU10は、カメラ16により所定時間毎に取得される撮像画像に対し、上述のARマーカ5の認識処理を行い、ARマーカ5が認識されなくなった場合に、ARマーカ5がフレームアウトしたと認識する。
ARマーカ5のフレームアウトを認識すると(ステップS7;YES)、CPU10は、内部クロックにより計時を開始する(ステップS8)。また、CPU10は、ARマーカ5のフレームアウトが認識される直前にカメラ16から取得された複数の撮像画像に基づいて、ARマーカ5の座標の軌跡を取得し、この取得された軌跡に基づいて、ARマーカ5がフレームアウトした方向を認識する(ステップS9)。具体的に、CPU10は、図5に示すように、RAM11に記憶されている、ARマーカ5が認識されなくなる直前のn枚の撮像画像からARマーカ5の中心座標P11(X,Y)、P12(X,Y)・・・P1n(X,Y)を求め、求めた中心座標群に対して回帰曲線Lを引く。次いで、ARマーカ5が認識されなくなる最も直前の中心座標P11(X,Y)から最も近い位置で回帰曲線Lと交わった辺E(表示部14の画面枠の辺)をARマーカ5がフレームアウトした辺と認識し、ARマーカ5がフレームアウトした辺の方向をARマーカ5がフレームアウトした方向として認識する。例えば、ARマーカ5がフレームアウトした辺が左であると認識した場合、ARマーカ5がフレームアウトした方向は「左から」と認識する。
次いで、CPU10は、RAM11のフレームイン/フレームアウト情報記憶部111に、フレームアウトした方向の履歴情報を記憶する(ステップS10)。
次いで、CPU10は、フレームアウト後の撮像画像に対し、ARマーカ5の認識処理を行い、ARマーカ5のフレームインが認識されたか否かを判断する(ステップS11)。ARマーカ5のフレームインが認識されたと判断した場合(ステップS11;YES)、CPU10は、ステップS3の処理に戻り、ステップS3〜ステップS11の処理を繰り返し実行する。
ARマーカ5のフレームインが認識されていないと判断した場合(ステップS11;NO)、CPU10は、計時開始から(即ち、フレームアウトしてから)所定時間が経過したか否かを判断する(ステップS12)。
計時開始から(即ち、フレームアウトしてから)所定時間が経過していないと判断した場合(ステップS12;NO)、処理はステップS11に戻る。
計時開始から(即ち、フレームアウトしてから)所定時間が経過したと判断した場合(ステップS12;YES)、CPU10は、RAM11に記憶されている撮像画像及びフレームイン/フレームアウト情報記憶部111に記憶されている履歴情報をリセット(消去)する(ステップS13)。これにより、初期状態となる。
計時開始から(即ち、フレームアウトしてから)所定時間が経過していないと判断した場合(ステップS12;NO)、処理はステップS11に戻る。
計時開始から(即ち、フレームアウトしてから)所定時間が経過したと判断した場合(ステップS12;YES)、CPU10は、RAM11に記憶されている撮像画像及びフレームイン/フレームアウト情報記憶部111に記憶されている履歴情報をリセット(消去)する(ステップS13)。これにより、初期状態となる。
操作部15からARマーカアプリケーションの終了指示が入力されるまでステップS2〜ステップS13の処理が繰り返し実行される。操作部15からARマーカアプリケーションの終了指示が入力されると(ステップS14;YES)、CPU10は、表示制御処理を終了する。
ここで、上記の表示制御処理による表示動作について、図6に具体例を挙げて説明する。
例えば、図6(a)に示す初期状態において、画像処理装置1を左に動かすと、図6(b)に示すようにARマーカ5が左からフレームインする。ここで、初期状態からこれまでの動作履歴(左からのフレームイン)は、図3に示すように、動作パターンデータベース122に記憶されている動作パターンと一致しているので、この動作パターンに対応付けられている表示情報(ウサギ)に基づいて、ARマーカ5の位置にウサギの画像が表示される。
例えば、図6(a)に示す初期状態において、画像処理装置1を左に動かすと、図6(b)に示すようにARマーカ5が左からフレームインする。ここで、初期状態からこれまでの動作履歴(左からのフレームイン)は、図3に示すように、動作パターンデータベース122に記憶されている動作パターンと一致しているので、この動作パターンに対応付けられている表示情報(ウサギ)に基づいて、ARマーカ5の位置にウサギの画像が表示される。
次に、画像処理装置1を右に動かすと、図6(c)に示すように、ARマーカ5が左からフレームアウトする。ここから画像処理装置1を左に動かすと、図6(d)に示すようにARマーカ5が左からフレームインする。ここで、初期状態からこれまでの動作履歴(左からフレームイン→左からフレームアウト→左からフレームイン)は、動作パターンデータベース122には記憶されていない。よって、ARマーカ5の上にウサギが引き続き表示される。
次に、画像処理装置1を上に動かすと、図6(e)に示すように、ARマーカ5が下からフレームアウトする。ここから画像処理装置1を下に動かすと、図6(f)に示すようにARマーカ5が下からフレームインする。ここで、初期状態からこれまでの動作履歴(左からフレームイン→左からフレームアウト→左からフレームイン→下からフレームアウト→下からフレームイン)は、動作パターンデータベース122に記憶されている動作パターンと一致しているので、この動作パターンに対応付けられている表示情報(ネコ)に基づいて、ARマーカ5の位置にネコの画像が表示される。
このように、図7に示すように、画像処理装置1を上下左右に動かして、一つのARマーカ5を動作パターンデータベース122に登録されている動作パターンでフレームイン/フレームアウトさせるだけで、表示部14にその動作に応じた所望の表示を行わせることができる。
以上説明したように、本実施形態における画像処理装置1によれば、CPU10は、カメラ16からの撮像画像に基づいて、表示部14の画面内にARマーカ5がフレームインしたことを認識するとともに、当該ARマーカ5がフレームインした方向を認識し、ARマーカ5がフレームインした方向に応じた所定の表示を表示部14に行わせる。
従って、同じ一つのARマーカ5であっても、ARマーカ5がフレームインした方向に応じて異なる複数の表示を表示部14に行わせることが可能となる。その結果、ARマーカの種類を選択するための選択操作を行う必要がなくなり、利便性が向上する。
従って、同じ一つのARマーカ5であっても、ARマーカ5がフレームインした方向に応じて異なる複数の表示を表示部14に行わせることが可能となる。その結果、ARマーカの種類を選択するための選択操作を行う必要がなくなり、利便性が向上する。
また、CPU10は、ARマーカ5がフレームインした方向及びフレームアウトした方向の履歴情報をフレームイン/フレームアウト情報記憶部111に記憶しておき、ARマーカ5のフレームインが認識された際に、フレームイン/フレームアウト情報記憶部111に記憶されているARマーカ5がフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を表示部14に行わせる。
従って、同じ一つのARマーカ5であっても、ARマーカ5がフレームインした方向及びフレームアウトした方向の一連の動作に応じて異なる複数の表示を表示部14に行わせることが可能となる。その結果、ARマーカの種類を選択するための選択操作を行う必要がなくなり、利便性が向上する。
従って、同じ一つのARマーカ5であっても、ARマーカ5がフレームインした方向及びフレームアウトした方向の一連の動作に応じて異なる複数の表示を表示部14に行わせることが可能となる。その結果、ARマーカの種類を選択するための選択操作を行う必要がなくなり、利便性が向上する。
また、CPU10は、ARマーカ5がフレームインした方向及びフレームアウトした方向の認識を画像処理技術を用いて行うため、加速度センサ等のハードウエアを搭載することなく、簡単な装置構成で実現することが可能となる。
なお、上記実施形態における記述内容は、画像処理装置の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、画像処理装置1がスマートフォン等の手に持つタイプの移動型端末である場合を例にとり説明したが、眼鏡型HMD(Head Mounted Display)等であってもよい。この場合、図8に示すように、首振り動作でマーカのフレームイン、フレームアウトを行うことができるので、ハンズフリーで表示部14への表示を切り替えることが可能となる。
また、上記実施形態においては、様々な方向からのフレームイン及びフレームアウトを組み合わせた動作パターンに対して表示情報を予め対応付けておくこととしたが、例えば、フレームインのみの動作パターン(例えば、右からフレームイン→左からフレームイン→上からフレームイン・・・等)に表示情報を対応付けて記憶しておくこととしてもよい。そして、ARマーカ5のフレームインが認識された際に、CPU10は、ARマーカ5がフレームインした方向の履歴が予め記憶された動作パターンに一致するか否かを判断し、一致した場合に、その動作パターンに応じた表示情報に基づき表示部14の表示を行うこととしてもよい。また、例えば、フレームアウトのみの動作パターン(例えば、右からフレームアウト→左からフレームアウト→上からフレームアウト・・・等)に表示情報を対応付けて記憶しておくこととしてもよい。そして、ARマーカ5のフレームインが認識された際に、CPU10は、それまでにARマーカ5がフレームアウトした方向の履歴が予め記憶された動作パターンに一致するか否かを判断し、一致した場合に、その動作パターンに応じた表示情報に基づき表示部14の表示を行うこととしてもよい。
また、上記実施形態においては、初期状態からのフレームイン及びフレームアウトの一連の動作履歴が動作パターンデータベース122に記憶された動作パターンと一致した場合に、その動作パターンに応じた表示を行うこととしたが、これに限定されない。
例えば、記憶部12に、フレームインの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、CPU10は、ARマーカ5がフレームインした方向が認識される毎に、認識されたフレームインの方向に予め対応付けられた表示情報に基づいて、ARマーカ5がフレームインした方向に応じた所定の表示を表示部14に行わせることとしてもよい。
また、例えば、記憶部12に、フレームアウトの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、CPU10は、ARマーカ5のフレームアウトの方向を認識すると、その認識した方向をRAM11に記憶し、ARマーカ5のフレームインが認識されると、その直前に認識されたフレームアウトの方向に予め対応付けられた表示情報に基づいて、直前にARマーカ5がフレームアウトした方向に応じた所定の表示を表示部14に行わせることとしてもよい。
また、例えば、記憶部12に、フレームアウトの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、CPU10は、ARマーカ5のフレームアウトの方向を認識すると、そのフレームアウトした方向に対応付けられた表示情報を表示してもよい。この時、マーカ5のフレームアウトをトリガとして表示情報を表示しているため、その後、マーカ5がフレームインしなくても表示情報を表示することができる。
このようにしても、上記実施形態と同様に、同じ一つのARマーカ5であっても、ARマーカ5がフレームインした方向やフレームアウトした方向に応じて異なる複数の表示を表示部14に行わせることが可能となる。
例えば、記憶部12に、フレームインの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、CPU10は、ARマーカ5がフレームインした方向が認識される毎に、認識されたフレームインの方向に予め対応付けられた表示情報に基づいて、ARマーカ5がフレームインした方向に応じた所定の表示を表示部14に行わせることとしてもよい。
また、例えば、記憶部12に、フレームアウトの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、CPU10は、ARマーカ5のフレームアウトの方向を認識すると、その認識した方向をRAM11に記憶し、ARマーカ5のフレームインが認識されると、その直前に認識されたフレームアウトの方向に予め対応付けられた表示情報に基づいて、直前にARマーカ5がフレームアウトした方向に応じた所定の表示を表示部14に行わせることとしてもよい。
また、例えば、記憶部12に、フレームアウトの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、CPU10は、ARマーカ5のフレームアウトの方向を認識すると、そのフレームアウトした方向に対応付けられた表示情報を表示してもよい。この時、マーカ5のフレームアウトをトリガとして表示情報を表示しているため、その後、マーカ5がフレームインしなくても表示情報を表示することができる。
このようにしても、上記実施形態と同様に、同じ一つのARマーカ5であっても、ARマーカ5がフレームインした方向やフレームアウトした方向に応じて異なる複数の表示を表示部14に行わせることが可能となる。
また、上記実施形態においては、画像処理技術によってARマーカ5がフレームインした方向及びフレームアウトした方向を認識することとしたが、加速度センサやジャイロセンサを搭載している画像処理装置1であれば、これらによってフレームインした方向及びフレームアウトした方向を認識することとしてもよい。
また、上記実施形態においては、一つのARマーカ5に基づく表示について説明したが、ARマーカの種類は複数あってもよい。この場合、動作パターンデータベース122は、ARマーカの種類毎に複数記憶され、認識されたARパターンの種類に応じた動作パターンデータベースを用いて表示制御処理が行われる。
また、ARマーカ5がフレームインした方向及びフレームアウトした方向だけでなく、フレームインしてからフレームアウトするまでの時間も表示内容を制御するためのパラメータとしてもよい。
また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
<請求項2>
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段と、
を更に備え、
前記制御手段は、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を前記表示手段に行わせる請求項1に記載の画像処理装置。
<請求項3>
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向を記憶する記憶手段と、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
<請求項4>
前記フレームイン方向認識手段は、前記マーカのフレームインが認識された以降に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームインが認識された後の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームインした方向を認識する請求項1又は2に記載の画像処理装置。
<請求項5>
前記フレームアウト方向認識手段は、前記マーカのフレームアウトが認識される直前に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームアウトが認識される直前の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームアウトした方向を認識する請求項2又は3に記載の画像処理装置。
<請求項6>
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
<請求項7>
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
<請求項8>
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記マーカがフレームアウトした方向を記憶する記憶手段、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
<請求項9> 撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
<請求項2>
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段と、
を更に備え、
前記制御手段は、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を前記表示手段に行わせる請求項1に記載の画像処理装置。
<請求項3>
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向を記憶する記憶手段と、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
<請求項4>
前記フレームイン方向認識手段は、前記マーカのフレームインが認識された以降に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームインが認識された後の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームインした方向を認識する請求項1又は2に記載の画像処理装置。
<請求項5>
前記フレームアウト方向認識手段は、前記マーカのフレームアウトが認識される直前に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームアウトが認識される直前の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームアウトした方向を認識する請求項2又は3に記載の画像処理装置。
<請求項6>
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
<請求項7>
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
<請求項8>
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記マーカがフレームアウトした方向を記憶する記憶手段、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
<請求項9> 撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
1 画像処理装置
10 CPU
11 RAM
111 フレームイン/フレームアウト情報記憶部
12 記憶部
121 プログラム記憶部
122 動作パターンデータベース
13 通信部
14 表示部
15 操作部
16 カメラ
17 現在時刻取得部
10 CPU
11 RAM
111 フレームイン/フレームアウト情報記憶部
12 記憶部
121 プログラム記憶部
122 動作パターンデータベース
13 通信部
14 表示部
15 操作部
16 カメラ
17 現在時刻取得部
Claims (12)
- 画像取得手段と、
前記画像取得手段により取得された第一の画像内に所定のマーカがフレームインした場合、前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記フレームイン方向認識手段により認識された前記マーカがフレームインした方向に応じた第二の画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記画像取得手段により取得された第一の画像内から前記マーカがフレームアウトした場合、前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段と、
を更に備え、
前記生成手段は、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた前記第二の画像を生成する、ことを特徴とする請求項1に記載の画像処理装置。 - 前記第二の画像を表示させるよう表示手段を制御する表示制御手段を更に備える、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記生成手段は、前記第一の画像と前記第二の画像とを合成させる合成手段をさらに備える、
ことを特徴とする請求項1から3の何れか1項に記載の画像処理装置。 - 前記生成手段は、前記第二の画像として、所定の物体の動作パターンを表す画像を生成する、
ことを特徴とする請求項1から4の何れか1項に記載の画像処理装置。 - 前記フレームイン方向認識手段は、前記マーカのフレームインが認識された後に前記画像取得手段から取得される第一の画像に基づいて、前記マーカのフレームインが認識された後の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームインした方向を認識する、
ことを特徴とする請求項1から5の何れか1項に記載の画像処理装置。 - 前記フレームアウト方向認識手段は、前記マーカのフレームアウトが認識される直前に前記画像取得手段から取得される第一の画像に基づいて、前記マーカのフレームアウトが認識される直前の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームアウトした方向を認識する、
ことを特徴とする請求項2から6の何れか1項に記載の画像処理装置。 - 画像取得ステップと、
前記画像取得ステップにより取得された第一の画像内に所定のマーカがフレームインした場合、前記マーカがフレームインした方向を認識するフレームイン方向認識ステップと、
前記フレームイン方向認識ステップにより認識された前記マーカがフレームインした方向に応じた第二の画像を生成する生成ステップと、
を含むことを特徴とする画像処理方法。 - 前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段を具備する画像処理装置で実行される画像処理方法であって、
前記画像取得ステップにより取得された第一の画像内から前記マーカがフレームアウトした場合、前記マーカがフレームアウトした方向を認識するフレームアウト方向認識ステップ、
を更に備え、
前記生成ステップは、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた前記第二の画像を生成する、
ことを特徴とする請求項8に記載の画像処理方法。 - コンピュータを、
画像取得手段、
前記画像取得手段により取得された第一の画像内に所定のマーカがフレームインした場合、前記マーカがフレームインした方向を認識するフレームイン方向認識手段、
前記フレームイン方向認識手段により認識された前記マーカがフレームインした方向に応じた第二の画像を生成する生成手段、
として機能させるためことを特徴とするプログラム。 - コンピュータを、
画像取得手段、
前記画像取得手段により取得された第一の画像内から所定のマーカがフレームアウトした場合、前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記フレームアウト方向認識手段により認識された前記マーカがフレームアウトした方向に応じた第二の画像を生成する生成手段、
として機能させるためことを特徴とするプログラム。 - 前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段を具備するコンピュータを、
前記画像取得手段により取得された第一の画像内から前記マーカがフレームアウトした場合、前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
として更に機能させ、
前記生成手段は、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた前記第二の画像を生成する、
ことを特徴とする請求項10に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017112271A JP6369604B2 (ja) | 2017-06-07 | 2017-06-07 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017112271A JP6369604B2 (ja) | 2017-06-07 | 2017-06-07 | 画像処理装置、画像処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013129368A Division JP6155893B2 (ja) | 2013-06-20 | 2013-06-20 | 画像処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017201534A JP2017201534A (ja) | 2017-11-09 |
JP6369604B2 true JP6369604B2 (ja) | 2018-08-08 |
Family
ID=60264639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017112271A Active JP6369604B2 (ja) | 2017-06-07 | 2017-06-07 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6369604B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5321237B2 (ja) * | 2009-05-18 | 2013-10-23 | 株式会社ニコン | 撮像装置、および撮影プログラム |
JP5685436B2 (ja) * | 2010-12-28 | 2015-03-18 | 新日鉄住金ソリューションズ株式会社 | 拡張現実提供装置、拡張現実提供システム、拡張現実提供方法及びプログラム |
JP5776255B2 (ja) * | 2011-03-25 | 2015-09-09 | ソニー株式会社 | 端末装置、物体識別方法、プログラム及び物体識別システム |
JP5821526B2 (ja) * | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2013105346A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム |
-
2017
- 2017-06-07 JP JP2017112271A patent/JP6369604B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017201534A (ja) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014157482A (ja) | 操作表示システム | |
CN108027656B (zh) | 输入设备、输入方法和程序 | |
US10013156B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
US9880721B2 (en) | Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method | |
US10810801B2 (en) | Method of displaying at least one virtual object in mixed reality, and an associated terminal and system | |
CN111045577A (zh) | 一种横竖屏切换方法、可穿戴设备和具有存储功能的装置 | |
JP6540367B2 (ja) | 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム | |
US9753548B2 (en) | Image display apparatus, control method of image display apparatus, and program | |
CN114816135B (zh) | 跨设备绘制*** | |
WO2015136952A1 (ja) | ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末 | |
JP6155893B2 (ja) | 画像処理装置、及びプログラム | |
EP3125089B1 (en) | Terminal device, display control method, and program | |
JP2009037464A (ja) | 画像表示装置及びコンピュータプログラム | |
JP6369604B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
TWI653540B (zh) | 顯示裝置、投影機、及顯示控制方法 | |
WO2016092823A1 (ja) | 画像表示端末、画像表示システム、画像表示プログラム、および画像表示方法 | |
US8963924B2 (en) | Target selection apparatus that detects target, control method therefor, and storage medium | |
CN110989873B (zh) | 一种用于模拟触摸屏的光学成像*** | |
KR102614026B1 (ko) | 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법 | |
JP6318519B2 (ja) | 画像処理装置、プログラム及び制御方法 | |
CN109218599B (zh) | 全景图像的显示方法及其电子装置 | |
JP6225724B2 (ja) | 情報共有システムおよび情報共有方法、ならびに、情報処理装置および情報処理方法 | |
CN108803957B (zh) | 显示装置 | |
US20220256095A1 (en) | Document image capturing device and control method thereof | |
JP2014203131A (ja) | 入力装置、入力処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180612 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6369604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |