JP6511893B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP6511893B2
JP6511893B2 JP2015059088A JP2015059088A JP6511893B2 JP 6511893 B2 JP6511893 B2 JP 6511893B2 JP 2015059088 A JP2015059088 A JP 2015059088A JP 2015059088 A JP2015059088 A JP 2015059088A JP 6511893 B2 JP6511893 B2 JP 6511893B2
Authority
JP
Japan
Prior art keywords
identification code
display
image
display image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015059088A
Other languages
English (en)
Other versions
JP2016177726A (ja
Inventor
和記 土持
和記 土持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015059088A priority Critical patent/JP6511893B2/ja
Priority to PCT/JP2016/059116 priority patent/WO2016152891A1/ja
Priority to US15/560,594 priority patent/US10380426B2/en
Priority to CN201680017708.5A priority patent/CN107533627B/zh
Publication of JP2016177726A publication Critical patent/JP2016177726A/ja
Application granted granted Critical
Publication of JP6511893B2 publication Critical patent/JP6511893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475Constructional details of television projection apparatus
    • H04N5/7491Constructional details of television projection apparatus of head mounted projectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
特許文献1及び2に関連する技術が開示されている。
特許文献1には、ヘッドマウントディスプレイと、撮像装置と、画像処理部と、商品情報取得部と、情報表示部とを有する商品処理装置が開示されている。
ヘッドマウントディスプレイは、眼鏡のフレーム状に形成された保持部材を備える。保持部材は、商品に付けられたコード情報を目視可能とする光透過性部材を保持する。光透過性部材の一部分はモニタ表示可能となっている。
撮像装置は、少なくとも商品に付けられたコード情報を撮像する。画像処理部は、撮像装置の撮像により取得された画像データを光透過性部材のモニタ表示可能な部分に表示する。また、画像処理部は、画像データを画像処理し、コード情報に含まれる商品のコードを解読する。
商品情報取得部は、画像処理部により解読された商品コードに基づいて商品の情報を取得する。情報表示部は、少なくとも商品情報取得部により取得された商品の情報をヘッドマウントディスプレイのモニタ表示部に表示する。
特許文献2には、撮像画像に複数のバーコードが含まれる場合、それら各々を処理対象として認識処理を行う読取装置が開示されている。
特開2009−93489号公報 特開平9−114913号公報
特許文献1に開示の技術において、光透過性部材の一部に画像データをモニタ表示している際、ユーザの視野には、(1)光透過性部材の一部にモニタ表示された画像と、(2)光透過性部材の他の部分を透過して見えるユーザの前方の景色と、が含まれることとなる。(1)の画像には、ユーザの前方を撮像した撮像画像に含まれる商品、及び、当該商品に付されているコード情報を読み取ることで得られた商品情報が表示される。
ユーザの前方に1つの商品のみが存在する場合、ユーザは、(2)の景色内に存在するその商品と、(1)の画像内で表示されている商品及び商品情報とを対応付けることができる。しかし、ユーザの前方に複数の商品が存在する場合、ユーザは、(1)の画像内で表示されている商品及び商品情報が、(2)の景色内に存在する複数の商品のいずれに対応するのか特定できない。特許文献2に開示の技術は、当該問題を解決できない。
本発明は、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようにするための技術を提供することを課題とする。
本発明によれば、
表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置が提供される。
また、本発明によれば、
コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法が提供される。
また、本発明によれば、
コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラムが提供される。
また、本発明によれば、
表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置が提供される。
また、本発明によれば、
コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法が提供される。
また、本発明によれば、
コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラムが提供される。
本発明によれば、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようなる。
本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置の適用例を示す図である。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。
まず、本実施形態の装置のハードウエア構成の一例について説明する。本実施形態の装置が備える各部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インタフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の装置のハードウエア構成の一例を概念的に示す図である。図示するように、本実施形態の装置は、例えば、バス11Aで相互に接続されるCPU1A、RAM(Random Access Memory)2A、ROM(Read Only Memory)3A、表示制御部4A、ディスプレイ5A、操作受付部6A、操作部7A、通信部8A、補助記憶装置9A、カメラ10A等を有する。なお、図示しないが、その他、外部機器と有線で接続される入出力インタフェイス、マイク、スピーカ等の他の要素を備えてもよい。
CPU1Aは各要素とともに装置のコンピュータ全体を制御する。ROM3Aは、コンピュータを動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶する領域を含む。RAM2Aは、プログラムが動作するための作業領域など一時的にデータを記憶する領域を含む。補助記憶装置9Aは、例えばHDD(Hard Disc Drive)であり、大容量のデータを記憶可能である。
ディスプレイ5Aは、例えば、光透過性部材で構成された透過型ディスプレイ(透明ディスプレイ)である。すなわち、ディスプレイ5Aの向こうの景色が透けて見える。このようなディスプレイ5Aに表示画像を表示すると、ディスプレイ5Aを観察するユーザの視野において、ディスプレイ5Aの向こうの景色の前に表示画像が重なった状態となる。なお、ディスプレイ5Aは、ヘッドマウントディスプレイであってもよい。この場合、ゴーグルや眼鏡のレンズ部分に透過型ディスプレイが設けられる。
表示制御部4Aは、VRAM(Video RAM)に記憶されたデータを読み出し、読み出したデータに対して所定の処理を施した後、ディスプレイ5Aに送って各種画面表示を行う。操作受付部6Aは、操作部7Aを介して各種操作を受付ける。操作部7Aは、操作キー、操作ボタン、スイッチ、ジョグダイヤルなどを含む。なお、操作受付部6Aは、カメラ10Aの前方で行われる所定のジェスチャを、所定の操作として受付けてもよい。
通信部8Aは、有線及び/または無線で、インターネット、LAN(Local Area Network)等のネットワークに接続し、他の電子機器と通信する。
以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は1つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。
<第1の実施形態>
まず、本実施形態の概要について説明する。本実施形態の画像処理装置は、ユーザの視野を含むように撮像された撮像画像を解析し、図形等で表現された所定の識別コードを検索する。そして、画像処理装置は、撮像画像内で識別コードを特定すると、特定した識別コードをユーザに通知する。
本実施形態の通知手段においては、透過型ディスプレイを用いる。透過型ディスプレイはユーザの前方に位置し、ユーザの視野に重ねて所定の画像を表示可能になっている。かかる場合、ユーザの視野において、ユーザの前方の景色に、透過型ディスプレイに表示された所定の画像が重なる。画像処理装置は、ユーザの視野において、特定した識別コードに対応する位置に強調情報(例:所定のマーク)が表示されるような表示画像を透過型ディスプレイに表示する。
このような画像処理装置によれば、ユーザは、視野内の情報、すなわち、視野内に存在する識別マークと強調情報との対応関係に基づいて、画像処理装置が特定している識別コードを容易に把握することができる。
次に、本実施形態の画像処理装置10の構成について詳細に説明する。図2に、本実施形態の画像処理装置10の機能ブロック図の一例を示す。図示するように、画像処理装置10は、表示画像生成部11と、表示部12と、撮像部13と、認識部14とを有する。
表示部12は、ユーザの視野に重ねて表示画像を表示する。具体的には、表示部12は、ユーザの視野に存在する前方景色に重ねて、表示画像を表示する。表示部12は、透過型ディスプレイを備える。そして、表示部12は、ユーザの前方に位置する当該透過型ディスプレイに表示画像を表示する。このようにすれば、ユーザの視野において、ユーザの視野に存在する前方の景色に表示画像が重なる。
透過型ディスプレイは、ユーザに装着されるウェアラブル装置、例えばヘッドマウントディスプレイであってもよい。図3に一例を模式的に示す。図3には、眼鏡型のヘッドマウントディスプレイが示されている。レンズ部分20が透過型ディスプレイとなっている。
図2に戻り、表示画像生成部11は、表示画像を生成する。詳細は以下で説明するが、認識部14による画像解析の結果が表示画像生成部11に入力される。表示画像生成部11は、当該結果に基づき、表示画像を生成する。表示画像生成部11が生成した表示画像は表示部12に入力される。そして、表示部12は、当該表示画像をユーザの視野に重ねて表示する。
図3の例の場合、例えば、処理装置22内に位置するコンピュータにより、表示画像生成部11が構成されてもよい。表示画像生成部11及び表示部12間の通信は、有線及び/又は無線での任意の通信規格で実現される。
図2に戻り、撮像部13は、ユーザの視野を含むように撮像画像を生成する。撮像部13(カメラ)は、ユーザの前方(顔が向く方向)を撮像するように構成される。例えば、撮像部13は、レンズがユーザの前方を向くように構成される。また、撮像部13は、ユーザの顔の向きの変化に応じて、レンズの向きが変化するよう構成される。
例えば、ユーザの顔より上に装着される物体に所定の向きでカメラを取り付けることで、上述のような構成を実現できる。図3の例の場合、ユーザの顔に装着されるヘッドマウントディスプレイに、カメラ21を取り付けている。カメラ21は、ユーザの前方(顔が向く方向)を撮像するように取り付けられている。この例の場合、ユーザの顔の向きが変化すると、それに応じて、カメラ21のレンズの向きも同じ方向を向くように変化する。
図2に戻り、認識部14は、撮像部13が撮像した撮像画像を解析し、撮像画像に含まれる(写っている)識別コードを特定する。撮像画像に複数の識別コードが存在する場合、認識部14は、複数の識別コードを特定することができる。図3の例の場合、例えば、処理装置22内に位置するコンピュータにより、認識部14が構成されてもよい。撮像部13及び認識部14間の通信は、有線及び/又は無線での任意の通信規格で実現される。
検査対象の物体各々には、図形等で表現された識別コードが付される。例えば、バーコード等の一次元コードや、QRコード(登録商標)等の二次元コードが検査対象に付される。このような検査対象を撮像した撮像画像には、図形等で表現された識別コードが含まれる。認識部14は、予め、図形等で表現された識別コードの外観の特徴を保持しておく。そして、認識部14は、撮像画像内で当該特徴があらわれている箇所を特定する。
識別コードの外観は、各規格に従った特有なものとなっている。そして、規格の要件を満たしつつ、細部において各々異なる外観を有することで、各々が区別可能となっている。このように、複数の識別コードの外観には、共通する特徴と、互いに異なる特徴とが存在する。撮像画像に含まれる識別コードを特定する処理に用いられる特徴は、複数の識別コードに共通の特徴とすることができる。
認識部14は、撮像画像の解析結果、すなわち、特定した識別コード各々の撮像画像内の位置を示す情報を、表示画像生成部11に入力する。
表示画像生成部11は、認識部14から入力された上記情報に基づき、表示画像を生成する。具体的には、表示画像生成部11は、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部14が複数の識別コードを特定した場合、表示画像生成部11は、複数の識別コード各々に対応する位置に強調情報が表示される表示画像を生成する。
表示部12が表示画像を表示すると、ユーザの視野において、ユーザの前方の景色に、表示画像が重なる。ユーザの視野には、前方に実在する識別コードと、表示画像として表示されている強調情報とが含まれる。強調情報が表示される「特定された識別コードに対応する位置」は、ユーザが、視野内の情報に基づき、特定された識別コードとその強調情報とが対応すると直感的に把握できるあらゆる位置を含む。例えば、視野内において、識別コードと強調情報とが重なる位置に表示してもよいし、識別コードの周囲に強調情報が位置するように表示してもよい。
強調情報は、ユーザの視野内で強調できるものであればよく、例えば、矢印、他の図形、記号、文字、数字、マーク、写真等で構成することができる。
表示画像生成部11は、予め、撮像部13が撮像した撮像画像内の座標を透過型ディスプレイに表示される表示画像内の座標に変換するための変換ルール(例:行列等で構成された変換式等)を保持しておく。そして、認識部14から特定した識別コード各々の撮像画像内の位置を示す情報を取得すると、当該変換ルールに従い識別コード各々の位置を表示画像内の座標に変換する。そして、表示画像生成部11は、変換後の座標に対応する位置に強調情報を配置した表示画像を生成する。
変換ルールは、撮像部13(カメラ)のレンズの向きやレンズの歪み、透過型ディスプレイ(ヘッドマウントディスプレイのレンズ部分20)の向き、撮像部13と透過型ディスプレイとの相対的な位置関係、透過型ディスプレイとユーザの目との相対的な位置関係等のパラメータに基づき、生成できる。図3に示すヘッドマウントディスプレイの場合、これらのパラメータが予め定まる。このため、変換ルールを予め作成し、表示画像生成部11に保持させておくことができる。なお、撮像画像内の座標を表示画像内の座標に変換する手段は、従来技術に準じて実現できるので、ここでの詳細な説明は省略する。
ここで、図3及び図4を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図4(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図4(2)は、表示画像生成部11が生成した表示画像である。当該例では、強調情報Bとして、四角形状の図形が表示されている。表示画像において、強調情報Bが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図4(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図4(1))に表示画像(図4(2))が重なっている。そして、強調情報Bが識別コードAに対応する位置に存在する。
図4(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象すべての識別コードAが、画像処理装置10により特定されていることを直感的に把握できる。
なお、上述の通り、強調情報Bが表示される識別コードAに対応する位置は、ユーザが直感的に、対応する強調情報Bと識別コードAとを把握できるものであればよい。図4(3)に示すように、強調情報Bが識別コードAを内包してもよいし、強調情報Bが識別コードAと重なってもよい。また、強調情報Bが識別コードAの周囲に位置してもよい。その他、強調情報Bは、識別コードAの強調表示に加えて、識別コードAを付された検査対象を強調表示してもよい(図11参照)。これらの前提は以下のすべての実施形態において同様である。また、強調情報Bに対するこれらの前提は、第2の実施形態で説明する強調情報Cにおいても同様である。
次に、図5のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S10)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S11)。撮像画像内に識別コードがない場合(S12のNo)、S15に進む。
撮像画像内に識別コードがある場合(S12のYes)、認識部14は、特定した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する(S13)。そして、表示部12は、S13で生成された表示画像をユーザの視野に重ねて表示する(S14)。その後、S15に進む。
S15では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S15のNo)、S10に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S15のYes)、処理を終了する。
以上説明した本実施形態の画像処理装置10は、透視型ディスプレイを用い、ユーザの視野に重ねて表示画像を表示することができる。かかる場合、ユーザの視野において、ユーザの前方の景色に、透過型ディスプレイに表示された表示画像が重なる。そして、画像処理装置10は、ユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように生成された撮像画像内で識別コードを特定すると、特定した識別コードに対応する位置に強調情報が表示される表示画像を生成し、透視型ディスプレイに表示することができる。
このような画像処理装置10によれば、前方の景色と表示画像とが重なったユーザの視野において、特定した識別コードを強調表示することができる。このため、ユーザは、自分の視野内の情報から、直感的に、画像処理装置10により特定された識別コードを把握することができる。
また、本実施形態の画像処理装置10は、撮像画像内に複数の識別コードが存在する場合、それらを特定し、各々に対して認識処理を行うことができる。そして、特定した識別コード各々を強調表示することができる。このように、複数の識別コードをまとめて処理できる本実施形態によれば、作業効率が向上する。また、本実施形態の場合、ユーザの前方に複数の識別コードが存在する場合であっても、画像処理装置10の解析結果がどの識別コードの対応するものか、ユーザは直感的に把握できる。
このように、本実施形態の画像処理装置10によれば、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようになる。
<第2の実施形態>
本実施形態の画像処理装置10は、特定した識別コードに対する認識結果を区別可能に表示する点で、第1の実施形態と異なる。その他の構成は第1の実施形態と同様である。
本実施形態の画像処理装置10の機能ブロック図は、第1の実施形態同様、図2で示される。表示部12及び撮像部13の構成は、第1の実施形態と同様である。
認識部14は、第1の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。そして、認識部14は、特定した識別コード各々を解読する。すなわち、認識部14は、図形等で表現された識別コードのパターンを解読し、当該パターンに対応する情報(例:数字や文字の組み合わせからなる識別コード)を認識する。撮像画像に複数の識別コードが写っている場合、認識部14は、複数の識別コードを特定し、各々に対して認識する処理を行う。
認識部14は、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力する。
「識別コードを認識された」とは、図形等で表現された識別コードを解読し、パターンに対応する情報を認識できたことを意味する。「識別コードを認識されなかった」とは、図形等で表現された識別コードに対し解読する処理を行ったが、パターンに対応する情報を認識できなかったことを意味する。例えば、「撮像画像に写っている識別コードが小さく、細部のパターンが不明瞭」、「他の物体が重なることによりパターンの一部が撮像画像中に写っていない」、「光の反射具合によりパターンが不明瞭になっている部分が存在する」等の理由により、識別コードを認識できない状態となり得る。
表示画像生成部11は、第1の実施形態同様、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。そして、表示画像生成部11は、認識部14により認識された識別コード、及び、認識されなかった識別コードを区別可能な表示画像を生成する。これらの識別コードを区別可能に表示する手法は特段制限されない。
ここで、図6を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図6(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図6(2)は、表示画像生成部11が生成した表示画像である。当該例では、互いに区別可能な強調情報B及び強調情報Cが表示されている。強調情報Bは実線の四角であるのに対し、強調情報Cは点線の四角となっている。強調情報Bは、認識部14により認識された識別コードAに対応する位置に表示される。一方、強調情報Cは、認識部14により特定されたが、認識されなかった識別コードAに対応する位置に表示される。
表示画像において、強調情報B及び強調情報Cが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図6(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図6(1))に表示画像(図6(2))が重なっている。そして、強調情報B及び強調情報Cが識別コードAに対応する位置に存在する。なお、強調情報Bは、認識部14により認識された識別コードに対応する位置に、強調情報Cは、認識部14により認識されなかった識別コードに対応する位置に表示される。
図6(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象すべての識別コードAが、画像処理装置10により特定されていることを直感的に把握できる。また、強調情報Cに対応する右奥の識別コードAは画像処理装置10により認識されておらず、強調情報Bに対応する他の識別コードAは画像処理装置10により認識されたことを、直感的に把握できる。
次に、図7のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S20)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S21)。撮像画像内に識別コードがない場合(S22のNo)、S26に進む。
撮像画像内に識別コードがある場合(S22のYes)、認識部14は、特定した識別コードに対して認識する処理を行う(S23)。そして、認識部14は、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示されるとともに、認識された識別コードと認識されなかった識別コードとを区別可能な表示画像を生成する(S24)。
そして、表示部12は、S24で生成された表示画像をユーザの視野に重ねて表示する(S25)。その後、S26に進む。
S26では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S26のNo)、S20に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S26のYes)、処理を終了する。
以上説明した本実施形態によれば、第1の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コード各々が、画像処理装置10により認識されたのか否かを直感的に把握できる。
このため、ユーザは、認識された識別コードが付された検査対象、すなわち、情報を読み込み済みの検査対象を作業台から移動させ、認識されなかった識別コードが付された検査対象のみを作業対に残し、再度認識処理を行わせることができる。また、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。
このように、本実施形態によれば、ユーザは、認識された識別コードが付された検査対象と、認識されなかった識別コードが付された検査対象とを直感的に把握し、各々に対して適切な対応をとることができる。結果、検査効率が向上する。
<第3の実施形態>
本実施形態の画像処理装置10は、認識された識別コードのみを強調表示する点で、第1及び第2の実施形態と異なる。その他の構成は、第1及び第2の実施形態と同様である。
本実施形態の画像処理装置10の機能ブロック図は、第1及び第2の実施形態同様、図2で示される。表示部12及び撮像部13の構成は、第1及び第2の実施形態と同様である。
認識部14は、第1の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。また、認識部14は、第2の実施形態で説明したように、特定した識別コードに対して認識する処理を行う。撮像画像に複数の識別コードが写っている場合、認識部14は、複数の識別コードを特定し、各々に対して認識する処理を行う。
認識部14は、特定し、認識した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。なお、認識部14は、第2の実施形態で説明したように、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力してもよい。
表示画像生成部11は、ユーザの視野において、認識部14により認識された識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部14により特定されたが、認識されなかった識別コードに対応する位置には強調情報が表示されない。
ここで、図8を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図8(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図8(2)は、表示画像生成部11が生成した表示画像である。当該例では、強調情報Bが表示されている。強調情報Bは、認識部14により認識された識別コードAに対応する位置に表示される。表示画像において、強調情報Bが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図8(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図8(1))に表示画像(図8(2))が重なっている。そして、強調情報Bが、認識部14により認識された識別コードAに対応する位置に存在する。
図8(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象の内、強調情報Bに対応する3つの識別コードAが、画像処理装置10により認識されたことを直感的に把握できる。
次に、図7のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S20)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S21)。撮像画像内に識別コードがない場合(S22のNo)、S26に進む。
撮像画像内に識別コードがある場合(S22のYes)、認識部14は、特定した識別コードに対して認識する処理を行う(S23)。そして、認識部14は、例えば、認識した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、認識された識別コードに対応する位置に強調情報が表示される表示画像を生成する(S24)。
そして、表示部12は、S24で生成された表示画像をユーザの視野に重ねて表示する(S25)。その後、S26に進む。
S26では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S26のNo)、S20に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S26のYes)、処理を終了する。
以上説明した本実施形態によれば、第1及び第2の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コードの内、いずれが画像処理装置10により認識されたかを直感的に把握できる。
このため、ユーザは、認識された識別コードが付された検査対象、すなわち、情報を読み込み済みの検査対象を作業台から移動させ、認識されなかった識別コードが付された検査対象のみを作業対に残し、再度認識処理を行わせることができる。また、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。
このように、本実施形態によれば、ユーザは、認識された識別コードが付された検査対象と、認識されなかった識別コードが付された検査対象とを直感的に把握し、各々に対して適切な対応をとることができる。結果、検査効率が向上する。
<第4の実施形態>
本実施形態の画像処理装置10は、認識できなかった識別コードのみを強調表示する点で、第1乃至第3の実施形態と異なる。その他の構成は、第1乃至第3の実施形態と同様である。
本実施形態の画像処理装置10の機能ブロック図は、第1乃至第3の実施形態同様、図2で示される。表示部12及び撮像部13の構成は、第1乃至第3の実施形態と同様である。
認識部14は、第1の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。また、認識部14は、第2の実施形態で説明したように、特定した識別コードに対して認識する処理を行う。撮像画像に複数の識別コードが写っている場合、認識部14は、複数の識別コードを特定し、各々に対して認識する処理を行う。
認識部14は、特定したが、認識されなかった識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。なお、認識部14は、第2の実施形態で説明したように、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力してもよい。
表示画像生成部11は、ユーザの視野において、認識部14により特定されたが認識されなかった識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部14により特定され、かつ、認識された識別コードに対応する位置には強調情報が表示されない。
ここで、図9を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図9(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図9(2)は、表示画像生成部11が生成した表示画像である。当該例では、強調情報Bが表示されている。強調情報Bは、認識部14により特定されたが、認識されなかった識別コードAに対応する位置に表示される。表示画像において、強調情報Bが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図9(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図9(1))に表示画像(図9(2))が重なっている。そして、強調情報Bが、認識部14により特定されたが認識されなかった識別コードAに対応する位置に存在する。
図9(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象の内、強調情報Bに対応する1つの識別コードAが、画像処理装置10により特定されたが、認識されなかったことを直感的に把握できる。
次に、図7のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S20)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S21)。撮像画像内に識別コードがない場合(S22のNo)、S26に進む。
撮像画像内に識別コードがある場合(S22のYes)、認識部14は、特定した識別コードに対して認識する処理を行う(S23)。そして、認識部14は、例えば、特定したが、認識されなかった識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、特定されたが認識されなかった識別コードに対応する位置に強調情報が表示される表示画像を生成する(S24)。
そして、表示部12は、S24で生成された表示画像をユーザの視野に重ねて表示する(S25)。その後、S26に進む。
S26では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S26のNo)、S20に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S26のYes)、処理を終了する。
以上説明した本実施形態によれば、第1乃至第3の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コードの内、いずれが画像処理装置10により特定されたが、認識されなかったかを直感的に把握できる。
このため、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。
このように、本実施形態によれば、ユーザは、認識されなかった識別コードが付された検査対象を直感的に把握し、適切な対応をとることができる。結果、検査効率が向上する。
<第5の実施形態>
本実施形態の画像処理装置10は、ユーザからの指示入力に応じて、撮像画像の生成、撮像画像の解析、表示画像の生成、表画像の表示という一連の処理を行う点で、第1乃至第4の実施形態と異なる。その他の構成は、第1乃至第4の実施形態と同様である。
図10に、本実施形態の画像処理装置10の機能ブロック図の一例を示す。図示するように、画像処理装置10は、表示画像生成部11と、表示部12と、撮像部13と、認識部14と、入力受付部15とを有する。
入力受付部15は、ユーザから開始指示入力を受付ける。入力受付部15は、所定の操作ボタンの押下により開始指示入力を受付けてもよいし、カメラ(撮像部13)の前での所定のジェスチャにより開始指示入力を受付けてもよい。その他、マイクを介した所定の発言内容の入力により、開始指示入力を受付けてもよい。
撮像部13は、入力受付部15が受付けた開始指示入力に応じて、撮像画像の生成を開始する。認識部14は、撮像部13による撮像画像の生成に応じて、当該撮像画像の解析を開始する。表示画像生成部11は、認識部14による撮像画像の解析の結果の生成に応じて、表示画像の生成を開始する。表示部12は、表示画像生成部11による表示画像の生成に応じて、表示画像の表示を開始する。表示画像生成部11、表示部12、撮像部13及び認識部14の他の構成は、第1乃至第4の実施形態と同様である。
以上説明した本実施形態によれば、第1乃至第4の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、常時表示画像が表示されるのでなく、ユーザからの指示に応じて表示画像の表示を行うことができる。このため、ユーザは、表示画像が必要なタイミングで表示画像を表示させ、不要なタイミングでは非表示とすることができる。結果、表示画像がユーザの他の作業の邪魔になる不都合を軽減できる。
以下、参考形態の例を付記する。
1. 表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
2. 1に記載の画像処理装置において、
前記認識手段は、特定した前記識別コードに対して認識する処理を行い、
前記表示画像生成手段は、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置。
3. 1または2に記載の画像処理装置において、
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
前記表示画像生成手段は、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
4. 表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
5. 4に記載の画像処理装置において、
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示画像生成手段は、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
6. 1から5のいずれかに記載の画像処理装置において、
ユーザから開始指示入力を受付ける入力受付手段をさらに有し、
前記撮像手段は、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識手段は、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成手段は、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示手段は、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理装置。
7. 1から6のいずれかに記載の画像処理装置において、
前記表示手段は、透過型ディスプレイを備え、当該透過型ディスプレイに前記表示画像を表示する画像処理装置。
8. 1から7のいずれかに記載の画像処理装置において、
前記表示手段は、ヘッドマウントディスプレイを備え、当該ヘッドマウントディスプレイに前記表示画像を表示する画像処理装置。
9. コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
9−2. 9に記載の画像処理方法において、
前記認識工程では、特定した前記識別コードに対して認識する処理を行い、
前記表示画像生成工程では、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法。
9−3. 9または9−2に記載の画像処理方法において、
前記認識工程では、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
前記表示画像生成工程では、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理方法。
9−4. 9から9−3のいずれかに記載の画像処理方法において、
前記コンピュータが、ユーザから開始指示入力を受付ける入力受付工程をさらに実行し、
前記撮像工程では、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識工程では、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成工程では、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示工程では、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理方法。
9−5. 9から9−4のいずれかに記載の画像処理方法において、
前記表示工程では、透過型ディスプレイに前記表示画像を表示する画像処理方法。
9−6. 9から9−5のいずれかに記載の画像処理方法において、
前記表示工程では、ヘッドマウントディスプレイに前記表示画像を表示する画像処理方法。
10. コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
10−2. 10に記載のプログラムにおいて、
前記認識手段に、特定した前記識別コードに対して認識する処理を行わせ、
前記表示画像生成手段に、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラム。
10−3. 10または10−2に記載のプログラムにおいて、
前記認識手段に、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定させ、
前記表示画像生成手段に、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成させるプログラム。
10−4. 10から10−3のいずれかに記載のプログラムにおいて、
前記コンピュータを、ユーザから開始指示入力を受付ける入力受付手段としてさらに機能させ、
前記撮像手段に、前記開始指示入力に応じて、前記撮像画像の生成を開始させ、
前記認識手段に、前記撮像画像の生成に応じて、前記撮像画像の解析を開始させ、
前記表示画像生成手段に、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始させ、
前記表示手段に、前記表示画像の生成に応じて、前記表示画像の表示を開始させるプログラム。
10−5. 10から10−4のいずれかに記載のプログラムにおいて、
前記表示手段に、透過型ディスプレイに前記表示画像を表示させるプログラム。
10−6. 10から10−5のいずれかに記載のプログラムにおいて、
前記表示手段に、ヘッドマウントディスプレイに前記表示画像を表示させるプログラム。
11. コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
11−2. 11に記載の画像処理方法において、
前記認識工程では、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示画像生成工程では、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理方法。
11−3. 11又は11−2に記載の画像処理方法において、
前記コンピュータが、ユーザから開始指示入力を受付ける入力受付工程をさらに実行し、
前記撮像工程では、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識工程では、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成工程では、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示工程では、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理方法。
11−4. 11から11−3のいずれかに記載の画像処理方法において、
前記表示工程では、透過型ディスプレイに前記表示画像を表示する画像処理方法。
11−5. 11から11−4のいずれかに記載の画像処理方法において、
前記表示工程では、ヘッドマウントディスプレイに前記表示画像を表示する画像処理方法。
12. コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
12−2. 12に記載のプログラムにおいて、
前記認識手段に、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行わせ、
前記表示画像生成手段に、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成させるプログラム。
12−3. 12又は12−3に記載のプログラムにおいて、
前記コンピュータを、ユーザから開始指示入力を受付ける入力受付手段としてさらに機能させ、
前記撮像手段に、前記開始指示入力に応じて、前記撮像画像の生成を開始させ、
前記認識手段に、前記撮像画像の生成に応じて、前記撮像画像の解析を開始させ、
前記表示画像生成手段に、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始させ、
前記表示手段に、前記表示画像の生成に応じて、前記表示画像の表示を開始させるプログラム。
12−4. 12から12−3のいずれかに記載のプログラムにおいて、
前記表示手段に、透過型ディスプレイに前記表示画像を表示させるプログラム。
12−5. 12から12−4のいずれかに記載のプログラムにおいて、
前記表示手段に、ヘッドマウントディスプレイに前記表示画像を表示させるプログラム。
1A CPU
2A RAM
3A ROM
4A 表示制御部
5A ディスプレイ
6A 操作受付部
7A 操作部
8A 通信部
9A 補助記憶装置
10A カメラ
11A バス
10 画像処理装置
11 表示画像生成部
12 表示部
13 撮像部
14 認識部
15 入力受付部
20 レンズ部分
21 カメラ
22 処理装置
A 識別コード
B 強調情報
C 強調情報

Claims (11)

  1. 表示画像を生成する表示画像生成手段と、
    ユーザの視野に重ねて前記表示画像を表示する表示手段と、
    ユーザの視野を含むように撮像画像を生成する撮像手段と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
    を有し、
    前記表示画像生成手段は、
    ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
    前記表示画像生成手段は、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
  3. 表示画像を生成する表示画像生成手段と、
    ユーザの視野に重ねて前記表示画像を表示する表示手段と、
    ユーザの視野を含むように撮像画像を生成する撮像手段と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
    を有し、
    前記表示画像生成手段は、
    ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
    前記表示画像生成手段は、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
  5. 請求項1から4のいずれか1項に記載の画像処理装置において、
    ユーザから開始指示入力を受付ける入力受付手段をさらに有し、
    前記撮像手段は、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
    前記認識手段は、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
    前記表示画像生成手段は、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
    前記表示手段は、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理装置。
  6. 請求項1から5のいずれか1項に記載の画像処理装置において、
    前記表示手段は、透過型ディスプレイを備え、当該透過型ディスプレイに前記表示画像を表示する画像処理装置。
  7. 請求項1から6のいずれか1項に記載の画像処理装置において、
    前記表示手段は、ヘッドマウントディスプレイを備え、当該ヘッドマウントディスプレイに前記表示画像を表示する画像処理装置。
  8. コンピュータが、
    表示画像を生成する表示画像生成工程と、
    ユーザの視野に重ねて前記表示画像を表示する表示工程と、
    ユーザの視野を含むように撮像画像を生成する撮像工程と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
    を実行し、
    前記表示画像生成工程では、
    ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法。
  9. コンピュータを、
    表示画像を生成する表示画像生成手段、
    ユーザの視野に重ねて前記表示画像を表示する表示手段、
    ユーザの視野を含むように撮像画像を生成する撮像手段、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
    として機能させ、
    前記表示画像生成手段に、
    ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラム。
  10. コンピュータが、
    表示画像を生成する表示画像生成工程と、
    ユーザの視野に重ねて前記表示画像を表示する表示工程と、
    ユーザの視野を含むように撮像画像を生成する撮像工程と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
    を実行し、
    前記表示画像生成工程では、
    ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法。
  11. コンピュータを、
    表示画像を生成する表示画像生成手段、
    ユーザの視野に重ねて前記表示画像を表示する表示手段、
    ユーザの視野を含むように撮像画像を生成する撮像手段、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
    として機能させ、
    前記表示画像生成手段に、
    ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示されるとともに、特定されかつ認識された前記識別コード、特定されかつ認識されなかった前記識別コード、及び、特定されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラム。
JP2015059088A 2015-03-23 2015-03-23 画像処理装置、画像処理方法、及び、プログラム Active JP6511893B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015059088A JP6511893B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、及び、プログラム
PCT/JP2016/059116 WO2016152891A1 (ja) 2015-03-23 2016-03-23 画像処理装置、画像処理方法、及び、プログラム
US15/560,594 US10380426B2 (en) 2015-03-23 2016-03-23 Image processing apparatus, image processing method, and non-transitory storage medium
CN201680017708.5A CN107533627B (zh) 2015-03-23 2016-03-23 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059088A JP6511893B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019075354A Division JP6879329B2 (ja) 2019-04-11 2019-04-11 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016177726A JP2016177726A (ja) 2016-10-06
JP6511893B2 true JP6511893B2 (ja) 2019-05-15

Family

ID=56978923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059088A Active JP6511893B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US10380426B2 (ja)
JP (1) JP6511893B2 (ja)
CN (1) CN107533627B (ja)
WO (1) WO2016152891A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860011A (zh) * 2017-08-17 2020-10-30 阿里巴巴集团控股有限公司 一种目标图形码识别方法和装置
JP6993516B2 (ja) * 2018-03-28 2022-01-13 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ヘッドマウントディスプレイおよびその方法
WO2019216131A1 (ja) 2018-05-11 2019-11-14 富士フイルム株式会社 撮影システム
CN112119350B (zh) * 2018-05-14 2022-03-04 富士胶片株式会社 移动式设备及摄影***
US11928550B2 (en) * 2022-01-28 2024-03-12 Zebra Technologies Corporation Methods and apparatus to locate and decode an arranged plurality of barcodes in an image

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114913A (ja) 1995-10-17 1997-05-02 Casio Comput Co Ltd 読取装置及び情報端末装置
JP2001028033A (ja) * 1999-07-14 2001-01-30 Oki Electric Ind Co Ltd バーコード認識結果の表示方法およびバーコード認識装置
JP4244919B2 (ja) * 2004-12-14 2009-03-25 ソニー株式会社 情報処理装置および方法、プログラム、並びに情報処理システム
CN100586153C (zh) * 2005-04-13 2010-01-27 摩托罗拉公司 对编码数据成像的方法和***
JP4922894B2 (ja) 2007-10-10 2012-04-25 東芝テック株式会社 商品処理装置及びposシステム
DE102007048679A1 (de) * 2007-10-10 2009-04-16 Sick Ag Vorrichtung und Verfahren zum Aufnehmen von Bildern von auf einer Fördereinrichtung bewegten Objekten
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP2011134079A (ja) * 2009-12-24 2011-07-07 Panasonic Corp 照合検査装置および照合検査方法
US8740081B2 (en) * 2011-11-03 2014-06-03 Cognex Corporation Method and apparatus for ordering code candidates in image for decoding attempts
JP5350532B2 (ja) * 2011-12-27 2013-11-27 キヤノン株式会社 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
CN102982267A (zh) * 2012-11-06 2013-03-20 周万荣 一种安全防护的方法和***和终端
TWI469109B (zh) * 2012-12-26 2015-01-11 Dadny Inc 驗證系統及其驗證方法
US9160993B1 (en) * 2013-07-18 2015-10-13 Amazon Technologies, Inc. Using projection for visual recognition
CN103530594B (zh) * 2013-11-05 2017-06-16 深圳市幻实科技有限公司 一种提供增强现实的方法、***及终端
CN103559713B (zh) * 2013-11-10 2017-01-11 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
US10229301B2 (en) * 2013-11-28 2019-03-12 Datalogic Ip Tech S.R.L. Optical code reading system with dynamic image regionalization
CN103679763B (zh) * 2014-01-15 2019-11-05 吴东辉 一种调制码的生成方法及读取方法及应用
JP2015141215A (ja) * 2014-01-27 2015-08-03 村田機械株式会社 ヘッドマウントディスプレイ装置
CN103942122B (zh) * 2014-04-22 2017-09-29 南京邮电大学 一种识别AVI类型block的方法

Also Published As

Publication number Publication date
US10380426B2 (en) 2019-08-13
JP2016177726A (ja) 2016-10-06
CN107533627A (zh) 2018-01-02
CN107533627B (zh) 2020-11-06
WO2016152891A1 (ja) 2016-09-29
US20180089511A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
JP6511893B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US10176521B2 (en) Augmented reality virtual product for display
US9811650B2 (en) User authentication system and method
US11257143B2 (en) Method and device for simulating a virtual out-of-box experience of a packaged product
US9501163B2 (en) Apparatus and method for activating a trigger mechanism
JP4588098B2 (ja) 画像・音声監視システム
US20160042241A1 (en) Interactive indicia reader
JP7460728B2 (ja) 多数の復号可能な証印を処理するための方法
US20170278057A1 (en) Information processing apparatus, shelf label management system, control method, and program
JP6439566B2 (ja) 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
JP2014099176A5 (ja)
JP6662264B2 (ja) 表示システム
JP5215328B2 (ja) ラベル表示装置、ラベル表示方法、およびそのプログラム
JP2020095537A (ja) 学習用データセット自動生成システム、サーバ、及び学習用データセット自動生成プログラム
JP6879329B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN104932101A (zh) 头戴式显示装置
JP6102445B2 (ja) 表示装置、表示方法、および表示プログラム
JP5310040B2 (ja) 撮像処理装置及びプログラム
JP7309171B2 (ja) 光学式認識コード読取装置、方法及びプログラム
JP2018045271A (ja) 保守作業用携帯端末及び保守作業用携帯端末の表示制御方法
JP2017019593A (ja) 倉庫管理システム及び携帯型装置
JP6404526B2 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
JP5695806B1 (ja) コード読取装置
JP2018196019A (ja) アタッチメント装置
WO2016135471A1 (en) Interactive information system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6511893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150