JP7380863B2 - 画像記憶装置、画像記憶方法、及びプログラム - Google Patents

画像記憶装置、画像記憶方法、及びプログラム Download PDF

Info

Publication number
JP7380863B2
JP7380863B2 JP2022522436A JP2022522436A JP7380863B2 JP 7380863 B2 JP7380863 B2 JP 7380863B2 JP 2022522436 A JP2022522436 A JP 2022522436A JP 2022522436 A JP2022522436 A JP 2022522436A JP 7380863 B2 JP7380863 B2 JP 7380863B2
Authority
JP
Japan
Prior art keywords
image
display area
display
real
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022522436A
Other languages
English (en)
Other versions
JPWO2021229752A5 (ja
JPWO2021229752A1 (ja
Inventor
八栄子 米澤
克 菊池
壮馬 白石
悠 鍋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021229752A1 publication Critical patent/JPWO2021229752A1/ja
Publication of JPWO2021229752A5 publication Critical patent/JPWO2021229752A5/ja
Priority to JP2023180895A priority Critical patent/JP2023181293A/ja
Application granted granted Critical
Publication of JP7380863B2 publication Critical patent/JP7380863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像記憶装置、画像記憶方法、及びプログラムに関する。
商品を販売している店舗において、商品棚における商品の位置は、その店舗の売り上げに影響を与えるため、重要である。例えば特許文献1には、サーバが、小売業者から、棚における商品の配置を示す情報を取得し、この配置が所定の位置となっているか分析することが記載されている。
なお、特許文献2には、商品棚を適宜区分して撮像することにより複数の区分画像を生成し、これら区分画像を合成して商品棚の全景の画像を生成することが記載されている。この全景の画像は、インターネットで顧客に商品を販売する際に、顧客の端末に表示される。
特開2002-109177号公報 特開2012-146214号公報
近年は、商品などの物品が載置された棚を撮影した画像を処理することにより、その棚における物品の位置を特定することが行われている。ここで、棚が大きい場合、この棚を複数回に分けて撮影する必要が出てくる。この場合、棚を撮影する撮影者は、隙間なく棚を撮影する必要がある。
本発明の目的の一つは、物品が載置されている棚を複数回に分けて撮影する場合において、その棚を隙間なく撮影しやすくすることにある。
本発明によれば、物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得手段と、
前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理手段と、
前記表示手段における前記第1画像の端部及び前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備える画像記憶装置が提供される。
本発明によれば、コンピュータが、
物品が載置されている物品棚の一部を撮像した第1画像を取得し、
前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させ、
前記表示手段における前記第1画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う、画像記憶方法が提供される。
本発明によれば、コンピュータに、
物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得機能と、
前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理機能と、
前記表示手段における前記第1画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせるプログラムが提供される。
本発明によれば、物品が載置されている棚を複数回に分けて撮影する場合において、その棚を隙間なく撮影しやすくなる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1実施形態に係る撮像装置の使用環境を説明するための図である。 撮像装置の機能構成の一例を示す図である。 ディスプレイにおける第1表示領域及び第2表示領域の第1例を示す図である。 ディスプレイにおける第1表示領域及び第2表示領域の第2例を示す図である。 ディスプレイにおける第1表示領域及び第2表示領域の第3例を示す図である。 撮像装置のハードウェア構成例を示す図である。 撮像装置が行う処理の一例を示すフローチャートである。 第2実施形態に係る撮像装置の機能構成の一例を示す図である。 第3実施形態に係る撮像装置の機能構成の一例を示す図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
[第1実施形態]
図1は、本実施形態に係る撮像装置10の使用環境を説明するための図である。撮像装置10は画像記憶装置の一例であり、物品棚(例えば商品棚)を撮影する。撮像装置10が生成した画像は外部装置20に送信される。外部装置20は、撮像装置10から取得した画像を処理することにより、物品棚における物品(例えば商品)の位置を特定する。外部装置20を使用する人は、外部装置20の処理結果を用いて、物品棚における物品の位置が所望の位置になっているか否かを確認する。例えば外部装置20は、画像処理を行うことにより物品の位置を特定し、特定した位置が予め定められた位置にあるか否かを判断する。
撮像装置10は携帯型の装置である。撮像装置10は、いわゆるスマートフォンなど、撮像機能付きの通信装置であってもよい。撮像装置10の使用者は、物品棚を複数の領域(例えば第1棚領域A及び第2棚領域A)に分け、領域毎に画像を生成する。この際、撮像装置10の使用者は、第1棚領域Aを撮影して第1画像を生成した後、第2棚領域Aを撮影して第2画像を生成する際に、第1画像の端部と第2画像の端部とが重なる(すなわち同一の領域の画像になる)ようにする。このようにすることで、撮像装置10の使用者は、物品棚を隙間なく撮影できる。
ここで撮像装置10は、第2画像を生成するときに、第1画像の端部と第2画像の端部とが重なるようにガイドを行う。このため、撮像装置10の使用者は、容易に第1画像の端部と第2画像の端部とを重ねることができる。
図2は、撮像装置10の機能構成の一例を示す図である。本図に示す例において、撮像装置10は撮像部110、画像取得部120、表示処理部130、ディスプレイ140(表示部の一例)、記憶処理部150、及び画像記憶部160を備えている。
撮像部110は撮像センサを有しており、画像を繰り返し生成する。画像取得部120は、撮像部110が生成した画像を取得する。記憶処理部150は、撮像部110が生成した画像のうち条件を満たした画像を画像記憶部160に記憶させる。
表示処理部130は、画像取得部120が取得した画像をディスプレイ140に表示させる。表示処理部130は、記憶処理部150が上記した第1画像を画像記憶部160に記憶させた後、第1画像の少なくとも端部をディスプレイ140の一部である第1表示領域に表示させつつ、撮像部110が生成した最新の画像(以下、リアルタイム画像と記載)を、ディスプレイ140のうち第1表示領域に隣接する第2表示領域に繰り返し表示させる。そして記憶処理部150は、ディスプレイ140における第1画像の端部及びリアルタイム画像の連続性が基準を満たしたときに、リアルタイム画像又はその後に生成された画像を第2画像として画像記憶部160に記憶させるための処理(以下、所定処理と記載)を行う。
所定処理の第1例は、撮像装置10が有する撮像ボタンを有効にすることである。例えば撮像装置10が物理的な撮像ボタンを有している場合、所定処理は、撮像ボタンの押下によって生じる信号を有効にすることである。またディスプレイ140がタッチパネルである場合、所定処理は、このタッチパネルに撮像ボタンを表示させることである。この場合、撮像ボタンを押下することによって記憶される第2画像は、連続性が基準を満たしたときにディスプレイ140に表示されていたリアルタイム画像であってもよいし、撮像ボタンを押下したタイミングにおけるリアルタイム画像であってもよい。
また所定処理の第2例は、連続性が基準を満たしたときにディスプレイ140に表示されていたリアルタイム画像を、第2画像として画像記憶部160に記憶させることである。
撮像装置10は、さらに送信部170を備えている。送信部170は、画像記憶部160が記憶している画像を外部装置20に送信する。送信部170が外部装置20に画像を送信するタイミングは、例えば画像記憶部160に画像が記憶されるたびに行われてもよいし、バッチ形式で行われてもよい。
また、撮像装置10は画像記憶部160を有していなくてもよい。この場合、記憶処理部150は、画像記憶部160に画像を記憶させる代わりに、この画像を送信部170に出力する。送信部170は、記憶処理部150から取得した画像を、外部装置20に送信して記憶させる。そして表示処理部130は、記憶処理部150が直前に送信部170に出力した画像を、第1画像として記憶しておく。
図3は、ディスプレイ140における第1表示領域142及び第2表示領域144の第1例を示す図である。本図において、第1画像が含む第1棚領域A及び第2画像が含む第2棚領域Aは、横方向に隣り合っている。この場合、第1表示領域142は、ディスプレイ140の横方向の端部に位置している。そして第2表示領域144は、ディスプレイ140の残りの領域になっている。
そして、第1表示領域142には第1画像の横方向の端部が表示され、第2表示領域144にはリアルタイム画像の全体が表示される。そして記憶処理部150は、第1表示領域142に表示されている画像のうち第2表示領域144側の端と、第2表示領域144に表示されている画像のうち第1表示領域142側の端とが連続していると判断したときに、上記した所定処理を行う。
図4は、ディスプレイ140における第1表示領域142及び第2表示領域144の第2例を示す図である。本図においても、第1画像が含む第1棚領域A及び第2画像が含む第2棚領域Aは、横方向に隣り合っている。そして、第1表示領域142には第1画像の横方向の端部と、リアルタイム画像の端部とが重なった状態で表示され、第2表示領域144にはリアルタイム画像の残りの部分が表示される。ここで撮像装置10のユーザは、第1表示領域142において、第1画像の横方向の端部と、リアルタイム画像の端部とが一致するように、撮像装置10の撮像方向を調整する。そして記憶処理部150は、第1表示領域142における、第1画像の端部とリアルタイム画像の端部との差分が基準以下になったときに、上記した所定処理を行う。
例えば記憶処理部150は、第1画像の端部における画素の値と、リアルタイム画像の端部における画素の値と、を比較し、これらの差が基準以下になったときに、上記した所定処理を行う。また記憶処理部150は、第1画像の端部に含まれる物品の種類及び位置を検出するとともに、前記第2画像の端部に含まれる物品の種類及び位置を検出し、これらの差が基準以下になったときに、上記した所定処理を行う。後者の場合、記憶処理部150は、物品の種類がすべて一致することを必要条件として、さらに各物の位置の差を統計処理した結果(例えば平均値又は合計値)が基準以下になったときに、上記した所定処理を行ってもよい。

なお、本図に示すように、第1画像の端部と第2画像の端部が物品棚の同じ領域である場合、図3に示した例と比較して、画像の端部で物品の一部のみが写ることを抑制できる。このため、物品棚に載置されているいずれの物品においても、少なくとも一つの画像において全体像が含まれる可能性が高くなる。
図5は、ディスプレイ140における第1表示領域142及び第2表示領域144の第3例を示す図である。本図に示す例は、第1画像が含む第1棚領域A及び第2画像が含む第2棚領域Aが縦方向に隣り合っている点を除いて、図4に示した例と同様である。このため、本図に示す例において、第1表示領域142はディスプレイ140の上側(又は下側)の端に位置している。なお、本図に示す例において、第1画像と第2画像の関係は図3と同様であってもよい。
図6は、撮像装置10のハードウェア構成例を示す図である。撮像装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は撮像装置10の各機能(例えば画像取得部120、表示処理部130、記憶処理部150、及び送信部170)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は画像記憶部160としても機能する。
入出力インタフェース1050は、撮像装置10の主要部と各種入出力機器(例えばディスプレイ140)とを接続するためのインタフェースである。
ネットワークインタフェース1060は、撮像装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。撮像装置10は、ネットワークインタフェース1060を介して外部装置20と通信してもよい。
図7は、撮像装置10が行う処理の一例を示すフローチャートである。まず、撮像装置10の撮像部110は、第1画像となる画像を生成する。記憶処理部150は、この画像を第1画像として画像記憶部160に記憶させる(ステップS10)。次いで表示処理部130は、第1画像を画像記憶部160から読み出し、第1画像の端部をディスプレイ140の第1表示領域142に表示させる(ステップS20)。
そして表示処理部130は、撮像部110が現在生成しているリアルタイム画像を、ディスプレイ140の第2表示領域144に表示させる(ステップS30)。そして記憶処理部150は、第1表示領域142に表示されている画像と第2表示領域144に表示されている画像の連続性が基準を満たした場合(ステップS40:Yes)、第2画像を画像記憶部160に記憶させるための所定処理を実行する(ステップS50)。ここで、ステップS40における判断基準の例は、図3を用いて説明した例、及び図4を用いて説明した例である。
その後、第2画像を新たな第1画像として、図7に示した処理を再び行う。
以上、本実施形態によれば、撮像装置10の表示処理部130は、物品棚の一部を撮像した第1画像の少なくとも端部をディスプレイ140の第1表示領域142に表示させつつ、撮像部110が現在繰り返し生成しているリアルタイム画像をディスプレイ140の第2表示領域144に表示させる。そして記憶処理部150は、ディスプレイ140における第1表示領域142と第2表示領域144の連続性が基準を満たしたときに、リアルタイム画像を第2画像として画像記憶部160に記憶させる。したがって、物品棚を複数回に分けて撮影する場合において、この物品棚を隙間なく撮影することができる。
[第2実施形態]
図8は、本実施形態に係る撮像装置10の機能構成の一例を示す図である。本実施形態に係る撮像装置10は、方向取得部180を備えている点を除いて、第1実施形態に係る撮像装置10と同様の構成である。方向取得部180は、第1表示領域142と第2表示領域144とが並ぶ方向の指定を取得する。この指定は、例えば撮像装置10の入力デバイスを介してユーザが入力してもよいし、外部装置20が撮像装置10に送信してもよい。指定される方向の例は、以下の4通りである。
(1)第2表示領域144が第1表示領域142の右側に位置する。
(2)第2表示領域144が第1表示領域142の左側に位置する。
(3)第2表示領域144が第1表示領域142の上側に位置する。
(4)第2表示領域144が第1表示領域142の下側に位置する。
そして表示処理部130は、方向取得部180が取得した指定に従って処理を行う。
本実施形態によっても、第1の実施形態と同様の効果が得られる。また、方向取得部180は、第1表示領域142と第2表示領域144とが並ぶ方向の指定を取得する。ここで指定される方向は、物品棚の第1棚領域A1及び第2棚領域A2が並ぶ方向、すなわち物品棚を分けて撮影する際に物品棚を分割する方向を示している。従って、撮像装置10の使用者は、この分割する方向に沿って物品棚を撮影しやすくなる。
[第3実施形態]
図9は、本実施形態に係る撮像装置10の機能構成の一例を示す図である。本図に示す撮像装置10は、以下の点を除いて第2実施形態に係る撮像装置10と同様の構成である。
まず、撮像装置10は方向取得部180を備えていない。その代わりに、撮像装置10はセンサ190を備えている。センサ190は、例えば加速度センサ及びジャイロセンサの少なくとも一方を有しており、撮像装置10の移動方向及び傾きの少なくとも一方を検出する。
そして表示処理部130は、第1画像を生成した後のセンサ190の検出値を用いて、第1表示領域142と第2表示領域144とが並ぶ方向を決定する。並ぶ方向の具体例は、第2実施形態で説明した通りである。
例えばセンサ190が加速度センサを有していると仮定する。この場合、表示処理部130は、加速度センサがある方向への加速を検知した場合、撮像装置10がその方向に移動したことになるため、第2表示領域144を第1表示領域142に対してその方向に配置する。例えば表示処理部130は、加速度センサが右方向への加速を検知した場合、第2表示領域144を第1表示領域142の右側に配置する。また表示処理部130は、加速度センサが下方向への加速を検知した場合、第2表示領域144を第1表示領域142の下に配置する。
またセンサ190がジャイロセンサを有していると仮定する。この場合、表示処理部130は、ジャイロセンサがある方向への回転を検知した場合、撮像装置10の向きがその方向に変化したことになるため、第2表示領域144を第1表示領域142に対してその方向に配置する。例えば表示処理部130は、ジャイロセンサが右方向への回転を検知した場合、第2表示領域144を第1表示領域142の右側に配置する。また表示処理部130は、ジャイロセンサが下方向への回転を検知した場合、第2表示領域144を第1表示領域142の下に配置する。
そして、この処理は、図7のステップS10とステップS20の間に行われる。
本実施形態によっても、第2実施形態と同様の効果が得られる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得手段と、
前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理手段と、
前記表示手段における前記第1画像の端部及び前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備える画像記憶装置。
2.上記1に記載の画像記憶装置において、
前記表示処理手段は、前記第1表示領域において、前記第1画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理手段は、前記第1表示領域における、前記第1画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行う画像記憶装置。
3.上記2に記載の画像記憶装置において、
前記記憶処理手段は、前記差分の少なくとも一部として、前記第1画像の端部に含まれる物品の種類及び位置と、前記第2画像の端部に含まれる物品の種類及び位置と、の差を用いる画像記憶装置。
4.上記1~3のいずれか一項に記載の画像記憶装置において、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶装置。
5.上記1~3のいずれか一項に記載の画像記憶装置において、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶装置。
6.上記1~5のいずれか一項に記載の画像記憶装置において、
前記第1表示領域と前記第2表示領域とが並ぶ方向の指定を取得する方向取得手段をさらに備える画像記憶装置。
7.上記1~5のいずれか一項に記載の画像記憶装置において、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第1画像を生成しており、
前記表示処理手段は、前記第1画像を生成した後の前記センサの検出値を用いて、前記第1表示領域と前記第2表示領域とが並ぶ方向を決定する画像記憶装置。
8.コンピュータが、
物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得処理と、
前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理と、
前記表示手段における前記第1画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理と、
を行う画像記憶方法。
9.上記8に記載の画像記憶方法において、
前記表示処理において、前記コンピュータは、前記第1表示領域において、前記第1画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理において、前記コンピュータは、前記第1表示領域における、前記第1画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行う画像記憶方法。
10.上記9に記載の画像記憶方法において、
前記記憶処理において、前記コンピュータは、前記差分の少なくとも一部として、前記第1画像の端部に含まれる物品の種類及び位置と、前記第2画像の端部に含まれる物品の種類及び位置と、の差を用いる画像記憶方法。
11.上記8~10のいずれか一項に記載の画像記憶方法において、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶方法。
12.上記8~10のいずれか一項に記載の画像記憶方法において、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶方法。
13.上記8~12のいずれか一項に記載の画像記憶方法において、
前記コンピュータは、前記第1表示領域と前記第2表示領域とが並ぶ方向の指定を取得する方向取得処理をさらに行う画像記憶方法。
14.上記8~12のいずれか一項に記載の画像記憶方法において、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第1画像を生成しており、
前記表示処理において、前記コンピュータは、前記第1画像を生成した後の前記センサの検出値を用いて、前記第1表示領域と前記第2表示領域とが並ぶ方向を決定する画像記憶方法。
15.コンピュータに、
物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得機能と、
前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理機能と、
前記表示手段における前記第1画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせるプログラム。
16.上記15に記載のプログラムにおいて、
前記表示処理機能は、前記第1表示領域において、前記第1画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理機能は、前記第1表示領域における、前記第1画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行うプログラム。
17.上記16に記載のプログラムにおいて、
前記記憶処理機能は、前記差分の少なくとも一部として、前記第1画像の端部に含まれる物品の種類及び位置と、前記第2画像の端部に含まれる物品の種類及び位置と、の差を用いるプログラム。
18.上記15~17のいずれか一項に記載のプログラムにおいて、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理であるプログラム。
19.上記15~17のいずれか一項に記載のプログラムにおいて、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理であるプログラム。
20.上記15~19のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、前記第1表示領域と前記第2表示領域とが並ぶ方向の指定を取得する方向取得機能をさらに持たせるプログラム。
21.上記15~19のいずれか一項に記載のプログラムにおいて、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第1画像を生成しており、
前記表示処理機能は、前記第1画像を生成した後の前記センサの検出値を用いて、前記第1表示領域と前記第2表示領域とが並ぶ方向を決定するプログラム。
10 撮像装置(画像記憶装置)
20 外部装置
110 撮像部
120 画像取得部
130 表示処理部
140 ディスプレイ
150 記憶処理部
160 画像記憶部
170 送信部

Claims (7)

  1. 物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得手段と、
    前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理手段と、
    前記表示手段における前記第1画像の端部前記リアルタイム画像の端部との差分が基準以下になったときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
    を備え
    前記表示処理手段は、前記第1表示領域において、前記第1画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
    前記記憶処理手段は、前記差分の少なくとも一部として、前記第1画像の端部に含まれる物品の種類及び位置と、前記第2画像の端部に含まれる物品の種類及び位置と、の差を用いる、
    画像記憶装置。
  2. 請求項1に記載の画像記憶装置において、
    前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶装置。
  3. 請求項1に記載の画像記憶装置において、
    前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶装置。
  4. 請求項1~のいずれか一項に記載の画像記憶装置において、
    前記第1表示領域と前記第2表示領域とが並ぶ方向の指定を取得する方向取得手段をさらに備える画像記憶装置。
  5. 請求項1~のいずれか一項に記載の画像記憶装置において、
    前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第1画像を生成しており、
    前記表示処理手段は、前記第1画像を生成した後の前記センサの検出値を用いて、前記第1表示領域と前記第2表示領域とが並ぶ方向を決定する画像記憶装置。
  6. コンピュータが、
    物品が載置されている物品棚の一部を撮像した第1画像を取得し、
    前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理と
    前記表示手段における前記第1画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理と
    を行い、
    前記表示処理は、前記第1表示領域において、前記第1画像の端部と前記リアルタイム画像の端部を重ねて表示させることを含み、
    前記記憶処理は、前記差分の少なくとも一部として、前記第1画像の端部に含まれる物品の種類及び位置と、前記第2画像の端部に含まれる物品の種類及び位置と、の差を用いることを含む、
    画像記憶方法。
  7. コンピュータに、
    物品が載置されている物品棚の一部を撮像した第1画像を取得する画像取得機能と、
    前記第1画像の少なくとも端部を表示手段の一部である第1表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第1表示領域に隣接する第2表示領域に表示させる表示処理機能と、
    前記表示手段における前記第1画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記リアルタイム画像又はその後に生成された画像を第2画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
    を持たせ
    前記表示処理機能は、前記第1表示領域において、前記第1画像の端部と前記リアルタイム画像の端部を重ねて表示させることを含み、
    前記記憶処理機能は、前記差分の少なくとも一部として、前記第1画像の端部に含まれる物品の種類及び位置と、前記第2画像の端部に含まれる物品の種類及び位置と、の差を用いることを含む、
    プログラム。
JP2022522436A 2020-05-14 2020-05-14 画像記憶装置、画像記憶方法、及びプログラム Active JP7380863B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023180895A JP2023181293A (ja) 2020-05-14 2023-10-20 画像記憶装置、画像記憶方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019257 WO2021229752A1 (ja) 2020-05-14 2020-05-14 画像記憶装置、画像記憶方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023180895A Division JP2023181293A (ja) 2020-05-14 2023-10-20 画像記憶装置、画像記憶方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021229752A1 JPWO2021229752A1 (ja) 2021-11-18
JPWO2021229752A5 JPWO2021229752A5 (ja) 2023-01-25
JP7380863B2 true JP7380863B2 (ja) 2023-11-15

Family

ID=78525540

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022522436A Active JP7380863B2 (ja) 2020-05-14 2020-05-14 画像記憶装置、画像記憶方法、及びプログラム
JP2023180895A Pending JP2023181293A (ja) 2020-05-14 2023-10-20 画像記憶装置、画像記憶方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023180895A Pending JP2023181293A (ja) 2020-05-14 2023-10-20 画像記憶装置、画像記憶方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230325138A1 (ja)
JP (2) JP7380863B2 (ja)
WO (1) WO2021229752A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146989A (ja) 2013-01-29 2014-08-14 Sony Corp 撮像装置、撮像方法および撮像プログラム
JP2016225930A (ja) 2015-06-03 2016-12-28 日本電気株式会社 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020006A (ja) * 2005-07-08 2007-01-25 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP4772009B2 (ja) * 2007-08-07 2011-09-14 三洋電機株式会社 ディジタルカメラ
US8091782B2 (en) * 2007-11-08 2012-01-10 International Business Machines Corporation Using cameras to monitor actual inventory
JP5235798B2 (ja) * 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
US10482512B2 (en) * 2013-05-31 2019-11-19 Michele Meek Systems and methods for facilitating the retail shopping experience online
US11544668B2 (en) * 2016-05-19 2023-01-03 Simbe Robotics, Inc. Method for maintaining inventory in a store
US20220383248A1 (en) * 2016-05-19 2022-12-01 Simbe Robotics, Inc. Method for scene segmentation
US11593755B2 (en) * 2016-05-19 2023-02-28 Simbe Robotics, Inc. Method for stock keeping in a store with fixed cameras
US10474991B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
WO2019246628A1 (en) * 2018-06-23 2019-12-26 Simbe Robotics, Inc. Method for managing stock within a store
WO2020077096A1 (en) * 2018-10-10 2020-04-16 Adroit Worldwide Media, Inc. Systems, method and apparatus for automated inventory interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146989A (ja) 2013-01-29 2014-08-14 Sony Corp 撮像装置、撮像方法および撮像プログラム
JP2016225930A (ja) 2015-06-03 2016-12-28 日本電気株式会社 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム

Also Published As

Publication number Publication date
WO2021229752A1 (ja) 2021-11-18
JP2023181293A (ja) 2023-12-21
JPWO2021229752A1 (ja) 2021-11-18
US20230325138A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
US10943363B2 (en) Image processing apparatus, and image processing method
JPWO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
US9235879B2 (en) Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
JP6882868B2 (ja) 画像処理装置、画像処理方法、システム
US9697581B2 (en) Image processing apparatus and image processing method
CN106203225B (zh) 基于深度的图像元素删除
US11094124B1 (en) Augmented reality pharmaceutical interface
JP7380863B2 (ja) 画像記憶装置、画像記憶方法、及びプログラム
US20060204091A1 (en) System and method for analyzing and processing two-dimensional images
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP7468508B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP6623565B2 (ja) 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
JP6565252B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6696149B2 (ja) 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法
JP7428244B2 (ja) 商品特定装置、商品特定方法、およびプログラム
JP6695454B1 (ja) 情報処理装置、情報処理方法、及びプログラム
US9674428B2 (en) Determination of at least one parameter for producing images for use by an application
EP3159783B1 (en) Selection option information presentation system and method
JP7400962B2 (ja) 商品特定装置、商品特定方法、及びプログラム
WO2021240581A1 (ja) 動線表示装置、動線表示方法、及びプログラム
JP7476967B2 (ja) 学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム
JPWO2018168303A1 (ja) 画像評価装置,画像評価方法および画像評価プログラム
WO2022158239A1 (ja) 画像処理システム、画像処理方法およびプログラム
WO2022102008A1 (ja) 表示制御装置、表示制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151