KR20210135317A - 쇼핑 도구에 기반한 부정 행위 방지 시스템 - Google Patents

Abstract

본 발명은 쇼핑 도구에 기반한 부정 행위 방지 시스템을 공개하였고, 쇼핑 카트의 상품에 대한 이미지 센싱, 중량 센싱에 기반하여 상품의 현재 구매 행위를 판단하고, 데이터 베이스에 미리 저장된 각 상품의 데이터에 따라, 이미지 센싱은 심층 뉴럴 네트워크 알고리즘에 기반하여 현재 중량 센싱 중인 상품을 인식하고; 이미지 인식을 상품 확인 기준으로 하여, 인식된 상품과 관련된 미리 저장된 중량 정보와 해당 상품의 현재 센싱 중량을 비교하고; 비교 결과에 기반하여 쇼핑 행위 판단 및 시스템 자기 학습을 진행한다. 쇼핑 행위의 판단은, 이미지 센싱 결과와 중량 센싱 결과가 매칭되는 합격 행위 판단, 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않는 의심 행위 판단을 포함하고, 시스템 자기 학습 과정은, 수집 모듈이 획득한 기본 특징과 시스템의 정확한 판단 결과 사이에 뉴럴 네트워크 관계를 형성하는 것을 포함하고, 네트워크 관계 중 단일 계층의 데이터가 업데이트에 기반하여, 인접된 관계 계층은 상호간의 양방향 가중치에 대한 조절을 통하여 전체 업데이트를 진행한다.

Description

쇼핑 도구에 기반한 부정 행위 방지 시스템

본 발명은 스마트 쇼핑 시스템 분야에 관한 것으로, 특히 쇼핑 도구에 기반한 부정 행위 방지 시스템에 관한 것이다.

현재 중국의 다양한 대형 쇼핑몰에는 수만가지의 상품이 있으며, 슈퍼마켓의 규모가 확대되고 소비자의 쇼핑이 다양화됨에 따라, 슈퍼마켓 내에서 구매하고자 하는 상품을 빠르고 정확하게 찾을 수 없고, 유사 상품의 다른 브랜드에 대한 정보를 충분히 알지 못하고, 스마트 쇼핑 카트 내의 구매한 상품에 대한 수량 및 가격 내역을 알지 못하여, 쇼핑 피크 타임에 계산대 옆에 길게 줄을 서서 결제를 기다려야하는 등의 문제가 발생할 수 있다.

따라서, 셀프 코드 스캔 결제 및 절도 행위 실시간 모니터링을 통합한 스마트 쇼핑 시스템의 연구 및 개발은 폭넓은 시장 전망 및 상당한 상업적 가치를 가진다. 국내외에서 이미 유사한 많은 연구를 하였으며, 월마트(wal-mart)는 최초로 소매 업계에서 RFID기술을 연구 개발하였고, RFID 기반 스마트 쇼핑 카트를 연구 개발하여 일부 월마트에서 시범 사용하였다. 이후, 다롄이공대학, 상하이교통대학 등에서 RFID에 기반한 쇼핑 스마트 단말을 연구하였고, 해당 연구는 RFID 태그로 다차원 바코드를 대체하였고, 상기 태그는 상품의 다양한 정보를 포함할 뿐만 아니라, 위조 방지 기술, 암호화 기술 및 정보 제어가 매우 우수하나, RFID 태그는 현재 일반2차원 코드를 장기간 대체할 수 없으므로, 현재 월마트의 극히 일부 슈퍼마켓에서만 보급하고 있다. 또한, 중난대학, 정보과학공정학원, 전자과학기술대학 등에서 임베디드 시스템에 기반한 스마트 쇼핑 카트를 연구하였고, 해당 방안은 일반 바코드와 임베디드 오페레이팅 시스템의 스마트 단말기를 결합하여, 실내 네비게이션, 바코드 스캔, 쇼핑 리스트 관리, 결제 코드 생성 등 기능을 구현하였으나, 해당 방안은 쇼핑 카트의 도난 방지 기능에 대해 언급하지 않았으므로, 역시 보급될 수 없다. 그러나, 동북임업대학의 리우빙 등이 전자 상품 도난 방지 시스템인 EAS시스템에 의해 쇼핑 카트 상품의 도난을 방지하였고, 각 상품의 소프트 라벨을 이용하여, 상품 결제 후에만 EAS시스템으로 소프트 라벨을 디코딩할 수 있어, 도난 방지를 실현하였으며, 이는 RFID태그와 유사하며, 각 상품마다 모두 서로 다른 소프트 라벨이 필요하므로, 작업량이 많아, 보급될 수 없다.

예를 들면 출원번호가 201510209427.7인 중국특허<스마트 쇼핑 카트, 스마트 쇼핑 시스템 및 그 사용방법>은 중량, 이미지, 코드 스캔의 3가지 조건에 기반하여 미리 설정된 데이터 정보를 비교하는 시스템을 공개하였으나, 해당 방법은 3가지 조건에 기반해 데이터를 판단함으로써, 데이터 관련 목적을 달성할 뿐, 쇼핑 과정에서 관련될 수 있는 규정 위반 동작에 대해 프로그램 로직을 설정하지 않았으므로, 쇼핑 동작에 대한 판단에 있어서, 창조적인 설계가 없다.

또 예를 들면 출원번호가 201610414195.3인 중국특허<슈퍼마켓 쇼핑 카트의 모니터링 시스템 및 그 모니터링 방법>은 중량, 이미지, 코드 스캔의 3가지 조건에 기반하여 쇼핑 동작에 대응시키는 논리 판단 방법을 공개하였고, 이미지 센서는 쇼핑 동작의 제스처에 따라 정보를 수집하고, 판단 과정 또한 화면상의 제스처에 대해 분석 등을 진행해야 한다. 따라서, 판단 방법은 필연적으로 번거롭고, 또한 제스처 인식 문제로 인해, 판단 정확도에도 영향을 줄 수 있으므로, 전체적으로 고정밀, 고효율의 계산 결과를 얻을 수 없다.

본 발명의 쇼핑 도구에 기반한 부정 행위 방지 시스템은 상품 이미지, 상품 품질, 상품 코드 스캔을 판단 또는 트리거 조건으로 하는 논리적 조합이다. 따라서, 하드웨어적으로 쇼핑 도구, 서버 등으로 표현될 수 있다. 쇼핑 도구는 주로 스마트 쇼핑 카트이며, 물론 셀프 계산대와 같은 장치에도 사용할 수 있다. 이러한 쇼핑 카트 또는 셀프 계산대 장치는 일반적으로 이미지 수집 장치, 품질 수집 장치, 상품 코드 스캔 장치 등과 같은 일련의 센서 장치를 구비해야 한다. 따라서, 쇼핑 도구의 구매 상품에 대한 이미지 센싱, 중량 센싱에 기반하여 상품의 현재 구매 행위를 판단하고, 상기 구매 행위 합격 여부의 판단에 따라 최종 결제 목적을 달성한다.

소프트웨어적으로, 시스템은 수집 모듈, 판단 모듈, 경보 모듈, 데이터 베이스를 포함하고,

수집 모듈은 상품 이미지, 상품 종류, 상품 바코드 등과 같은 판단 과정에서 과 관련된 판단 조건을 수집한다.

판단 모듈은 미리 설정된 논리적 관계에 기반하여 데이터 관련성, 행위 합리성 등을 판단하고, 예를 들면, 이미지와 관련된 상품 중량과 현재 상품 중량에 기반한 판단, 이미지와 중량 관계로 형성된 동작 상황에 기반한 판단 등이다.

경보 모듈은 판단 결과에 기반하여 피드백하고, 예를 들면, 오작동 코드 스캔에 대한 알림, 규정 위반 동작에 대한 관리자 알림 등이다.

데이터 베이스는 미리 설정된 다양한 데이터와 현재 운행 시 생성된 데이터를 저장하고, 각 상품마다 독립된 저장 경로가 있으며, 예를 들면, 수집이 이루어진 상품 이미지, 정보 특징의 저장, 자기 학습 과정에서 생성된 데이터에 대한 저장 등이다.

바람직하게는, 수집 모듈은 이미지 센싱에 기반한 이미지 수집부, 중량 센싱에 기반한 중량 수집부, 코드 스캔 정보에 기반한 코드 스캔 수집부를 포함한다.

본 발명의 장점: 시스템은 자기 학습 알고리즘을 사용하고, 상기 알고리즘에 기반하여, 상품과 관련된 다양한 데이터에 대해 모두 스마트한 자기 학습을 진행할 수 있다. 자기 학습 과정은 심층 뉴럴 네트워크 알고리즘에 의해 구현되며, 상기 알고리즘을 기반으로, 수집 모듈에서 관련된 데이터는 모두 심층 뉴럴 네트워크 알고리즘의 기본 특징점이 될 수 있다. 즉, 심층 뉴럴 네트워크 알고리즘은 전체 시스템의 자기 학습 과정을 구현할 수 있다.

바람직하게는, 시스템 자기 학습 과정은, 수집 모듈이 획득한 기본 특징과 시스템의 정확한 판단 결과 사이에 뉴럴 네트워크 관계를 형성하는 것을 포함하고, 이러한 뉴럴 네트워크의 기본 계층에 각 상품과 관련된 다양한 기본 특징점이 포함되고, 뉴럴 네트워크의 최상위 계층은 상기 기본 특징점에 대응되게 관련시킨 정확한 상기 상품이고, 기본 계층과 최상위 계층 사이의 기타 계층은 기본 특징점이 서로 조합된 특징 집합이다. 상기 네트워크 관계에서 어느 단일 계층의 데이터가 업데이트될 경우, 즉 소위 단일 계층에 대해 훈련을 진행할 경우, 상위 계층을 제외하고, 기타 인접된 관계 계층은 상호간의 양방향 가중치에 대한 조절을 통하여 전체 업데이트를 진행한다. 상기 과정의 특징은 두 측면을 포함한다. 첫째, 가중치의 조절 과정은 상호적일 수 있으며, 즉 특징점의 변화에 기반하여 가중치를 자동 조절할 수도 있고, 가중치의 변화에 기반하여 인접 계층의 특징을 조절할 수도 있다. 둘째, 조절 방향은 양방향이며, 즉 상향 조절할 수도 있고, 하향 조절할 수도 있다.

이미지 센싱을 예로 들면, 데이터 베이스에 미리 저장된 각 상품의 데이터에 따라, 이미지 센싱은 심층 뉴럴 네트워크 알고리즘에 기반하여 현재 중량 센싱 중인 상품을 인식한다. 이미지 센싱은 미리 설정된 이미지 특징에 기반하여 상품을 인식하고, 인식 과정에서 포착된 새로운 특징은 데이터 베이스에 자동으로 업데이트되어, 인식 과정을 점차적으로 최적화된다. 해당 기능에 기반하면, 이미지 센싱의 결과는 더욱 정확해진다.

바람직하게는, 이미지 센싱 결과는 상응한 판단 기준이 있으며, 현재 인식 이미지와 상품 기준 이미지에 따른 유사도를 근거로 하고, 판단 치역은 시스템의 자기 학습 상황에 따라 조절한다. 시스템은 사용 초기에 자기 학습 데이터가 적기 때문에, 판단 치역을 70%로 제어한다. 즉, 이미지 인식 정확도를 최대한 확보한다. 시스템의 자기 학습에 따라, 그 인식 정확도가 갈수록 높아지고, 이후에는 출력 정확도를 높이기 위해, 판단 치역을 90%로 조절할 수 있다.

바람직하게는, 심층 뉴럴 네트워크 알고리즘에 기반한 이미지 자기 학습 과정은, 이미지 센싱에 의해 상품의 기본 특징점을 수집하여 뉴럴 네트워크의 기본 계층을 구성하는 것을 포함하고, 상품에 대응되는 완전한 이미지가 뉴럴 네트워크의 최상위 계층이며; 최상위 계층과 기본 계층 사이의 기타 계층은 기본 계층의 기본 특징점으로 조합된 집합이고, 이러한 집합은 그래픽 방식으로 표현되어 검출되며; 임의의 계층의 변화에 기반하여, 최상위 계층을 제외한 기타 네트워크 계층 사이는 상호간의 양방향 가중치 관계에 대해 상향 또는 하향 자동 수정을 진행한다. 최상위 계층을 정확하게 구현하기 위해 “상향” 또는 “하향” 수정을 진행하는 것을 원칙으로 한다.

종합하자면, 상기 자기 학습 방법은 상품 인식 및 시스템 판단을 더욱 잘 구현하기 위한 것이다. 상기 이미지 인식 결과를 상품 확인 기준으로 하여, 인식된 상품과 관련된 미리 저장된 중량 정보를 해당 상품의 현재 센싱 중량과 비교하고; 비교 결과에 따라 쇼핑 행위 판단을 진행한다.

쇼핑 행위의 판단은 이미지 센싱 결과와 중량 센싱 결과가 매칭되는 합격 행위 판단, 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않는 의심 행위 판단을 포함하고, 의심 행위는 코드 스캔 알림 또는 경보를 트리거하게 된다.

바람직하게는, 쇼핑 행위는, 중량 센싱 결과 증량된 쇼핑 동작, 중량 센싱 결과 감량된 반품 동작을 포함한다.

행위의 트리거 조건이 다르므로, 이에 대응되는 운행 결과도 다르나, 그 판단 원리는 상기 방식으로 구현된다.

상기 방안에 따르면, 본 발명에서 완전한 쇼핑 흐름을 구현하려면 기타 기능의 모듈과 결합해야 한다.

바람직하게는, 시스템은 정산 모듈을 더 포함하고, 고객의 행위가 합격 행위일 경우, 수집 모듈이 획득한 상품의 대응 정산 정보는 정산 모듈에 의해 통계한다. 수집 모듈이 이미지 센싱을 주로 하면, 이때 이미지 센싱으로 인식한 상품 정보는 정확한 정보이며, 정산 모듈은 상기 정확한 정보에 기반하여 통계를 낸다. 수집 모듈이 코드 스캔 수집을 주로 하면, 이때 스캔한 상품의 정산 정보는 정확한 정보이며, 정산 모듈은 상기 정확한 정보에 기반하여 통계를 낸다.

판단 모듈이 실행하는 판단 근거는 이미지 센싱과 중량 센싱의 매칭 정도를 기준으로 하고, 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않으면, 코드 스캔 판단 과정으로 진입한다. 마찬가지로, 코드 스캔 판단 과정도 코드 스캔으로 획득한 상품의 중량과 코드 스캔 행위 후 중량 센싱에 의해 획득한 중량으로 판단한다.

코드 스캔 과정에서 현재 코드 스캔 상품에 대해 화면 추적을 진행한다. 즉, 이미지 센싱은 쇼핑 카트 내의 상품을 인식할 뿐만 아니라, 동시에 코드 스캔 위치의 상품에 대해 화면 모니터링을 진행한다. 현재 코드 스캔 상품이 해당 과정에서 의심 행위를 트리거한 대응 상품인지 확인한다.

쇼핑 행위는 사용자의 동작에 따라 쇼핑 동작 및 반품 동작으로 나뉘고, 쇼핑 행위는 시스템 판단 기준에 따라 합격 행위 및 의심 행위로 나뉜다. 합격 행위는 판단 데이터가 매칭되는 행위이고, 의심 행위는 판단 데이터가 매칭되지 않는 행위이다. 일반적으로, 의심 행위는 이미지 센싱된 이상 행위, 이미지 센싱된 규정 위반 행위를 포함한다. 각 동작 중 대응 행위는 구체적으로 아래와 같이 규정된다.

·단일 쇼핑 동작에 기반한 합격 행위 판단은,

이미지 센싱된 정상 행위: 화면 센싱 결과와 중량 센싱 결과가 매칭되어, 정산 모듈이 해당 상품의 정산 정보를 추가하는 것을 포함한다.

·단일 쇼핑 동작에 기반한 의심 행위 판단은,

이미지 센싱된 이상 행위: 이미지 수집부의 인식에 결과가 없으면(새로운 이미지 수집이 제때에 이루어지지 않으면), 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것,

이미지 센싱된 규정 위반 행위: 이미지 수집부가 정확히 인식하여, 행위가 의심스러우면(몰래 숨긴 행위가 존재하면), 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것을 포함한다.

·단일 반품 동작에 기반한 합격 행위 판단은,

이미지 센싱된 정상 행위: 이미지 센싱 결과와 중량 센싱 결과가 매칭되면, 정산 모듈은 상기 상품의 정산 정보를 삭제하는 것을 포함한다.

·단일 반품 동작에 기반한 의심 행위 판단은,

이미지 센싱된 이상 행위: 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않으면, 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것을 포함한다.

본 발명의 장점은 아래와 같다.

1. 판단 정확도가 높다: 이미지 인식 기술에 기반하면, 이미지 인식 정확도가 90%에 도달할 수 있어, 배경 정보를 연관시킨 후 기타 데이터를 판단함으로써, 조건의 매칭 정도를 판단하여 손실 방지 목적에 도달한다.

2. 계산 과정이 명확하다: 데이터 호출 과정이 명확하고, 각 상품의 조작에 기반하여 판단하므로, 정보 매칭 정도가 높아, 시스템 판단 오차를 감소시킨다.

3. 자기 학습 능력이 뛰어나다: 심층 뉴럴 네트워크 알고리즘에 기반하여, 기본 데이터의 업데이트로 자기 훈련을 진행하므로, 시스템의 인식 정확도와 판단 정확도를 향상시킬 수 있다.

이하 도면 및 실시예를 결합하여 본 발명을 추가적으로 설명한다.
도 1은 쇼핑 동작의 흐름도이다.
도 2는 반품 동작의 흐름도이다.

실시예1:

도면에 도시한 바와 같이, 쇼핑 도구에 기반한 부정 행위 방지 시스템은 오프라인 쇼핑 환경에 구축되며, 주요 목적은 셀프 쇼핑의 부정 행위 방지 메커니즘을 제공하는 것이다. 스마트 쇼핑 카트를 실행 캐리어로 하고, 쇼핑 카트는 일반적으로 카메라, 중량 센서, 전자 코드 스캐너와 같은 일련의 센싱 장치를 구비해야 한다. 내부 시스템은 수집 모듈, 판단 모듈, 경보 모듈, 데이터 베이스를 포함한다.

수집 모듈은 상품 이미지, 상품 종류, 상품 바코드 등과 같은 판단 과정에서 관련된 판단 조건을 수집하며, 수집 모듈은 이미지 센싱에 기반한 이미지 수집부, 중량 센싱에 기반한 중량 수집부, 코드 스캔 정보에 기반한 코드 스캔 수집부를 포함한다.

판단 모듈은 미리 설정된 논리적 관계에 기반하여 데이터 관련성, 행위 합리성 등을 판단하고, 예를 들면, 이미지와 관련된 상품 중량과 현재 상품 중량에 기반한 판단, 이미지와 중량 관계로 형성된 동작 상황에 기반한 판단 등이며, 불합격 결과에 대해서는 경보 모듈을 통해 나타낸다.

수집 모듈의 주요 작용은 2가지 측면으로 나타난다. 첫째, 상품 기본 데이터 수집의 경우, 시스템 설계 과정에서, 현재 시중의 모든 상품에 대해 기본 정보를 수집하며, 상품의 360°이미지, 상품 품질 등 면에서 데이터를 수집하고, 호출이 용이하도록 수집된 데이터를 데이터 베이스에 저장한다. 둘째, 쇼핑 행위 중, 상품의 정보를 수집하고, 단일 쇼핑 행위 중 상품의 이미지 수집, 이미지 중량 수집, 심지어는 코드 스캔 수집 등을 포함한다.

상기 시스템의 장점: 시스템은 자기 학습의 알고리즘을 사용하고, 상기 알고리즘에 기반하여, 상품과 관련된 다양한 데이터에 대해 모두 스마트한 자기 학습을 진행할 수 있다. 시스템 자기 학습 과정은, 수집 모듈이 획득한 기본 특징과 시스템의 정확한 판단 결과 사이에 뉴럴 네트워크 관계를 형성하는 것을 포함하고, 이러한 뉴럴 네트워크의 기본 계층에 각 상품과 관련된 다양한 기본 특징점이 포함되고, 뉴럴 네트워크의 최상위 계층은 상기 기본 특징점에 대응되게 관련시킨 정확한 상기 상품이고, 기본 계층과 최상위 계층 사이의 기타 계층은 기본 특징점이 서로 조합된 특징 집합이다. 상기 네트워크 관계에서 어느 단일 계층의 데이터가 업데이트될 경우, 즉 소위 단일 계층에 대해 훈련을 진행할 경우, 최상위 계층을 제외하고, 기타 인접된 관계 계층은 상호간의 양방향 가중치에 대한 조절을 통하여 전체 업데이트를 진행한다. 상기 과정의 특징은 두가지 측면을 포함한다. 첫째, 가중치의 조절 과정은 상호적일 수 있으며, 즉 특징점의 변화에 기반하여 가중치를 자동으로 조절할 수도 있고, 가중치의 변화에 기반하여 인접 계층의 특징을 조절할 수도 있다. 둘째, 조절 방향은 양방향이며, 즉 상향 조절할 수도 있고, 하향 조절할 수도 있다.

이미지 센싱을 예로 들면, 상품A는 기본 데이터 수집 시, 6개의 화면 기본 특징(a 부분 상표, b 부분 형상, c 부분 컬러, d 부분 텍스트, d 부분 줄무늬, f 부분 패턴)이 수집된다. 상술한 기본 특징으로 인식하고, 인식 과정은 a~f가 심층 뉴럴 네트워크의 기본 계층이고, 제2층의 특징은 a+f의 조합, c+d의 조합, e+f의 조합……이며, 제3 층의 특징은 제2층의 특징의 상호 조합……이고, 제4층, 제5층은 이런 식으로 유추하며, 최상위 계층은 바로 해당 상품이다. 인접한 양측 사이는 기본 알고리즘에 의해 구현되며, 기본 알고리즘에 각각의 가중치를 표시하였다. 사용자가 상품A에 대해 쇼핑 동작을 진행할 경우, 화면 센싱을 통해 인식하는데, 발생 가능한 상황에는 a ~ e의 5개 부분 특징이 인식되는 것이 포함되고, 동시에 하나의 특징g이 더 있으며, a ~ e의 5개 특징에 기반하여 시스템이 해당 상품을 인식할 수 있다는 전제에서, g특징은 시스템에 의해 기본 특징에 추가되고, 동시에 심층 뉴럴 네트워크는 상기 새로 추가된 g특징에 기반하여 업데이트를 진행한다. 이러한 뉴럴 네트워크 알고리즘은 업데이트가 특징 계층에 대한 업데이트일 뿐만 아니라, 동시에 특징 계층의 변화에 기반하여, 기본 알고리즘 중의 가중치도 업데이트되며, 그 목표는 모두 상품A를 더욱 정확하게 인식하기 위한 것임을 특징으로 한다.

따라서, 상기 자기 학습 방법을 사용하는 것은 상품 이미지 인식 및 화면 특징 시스템 판단을 더욱 잘 구현하기 위한 것이다. 그러면, 전체 판단 과정에서 모두 상기 자기 학습 방법을 사용할 경우, 상품의 중량 정보, 상품의 코드 스캔 정보 등은 모두 기본 계층의 특징점이 되고, 특징점의 조합을 통해 “이미지화”된 상위 계층 특징을 형성하고, 이런 식으로 유추하여, 최종적으로 목표 상품에 대응되게 한다.

실시예2:

상품에 기반한 이미지 센싱과 중량 센싱을 기본 조건으로 하여, 이미지 센싱된 인식된 상품과 관련된 미리 저장된 중량 정보를 해당 상품의 현재 센싱 중량과 비교하고; 비교 결과에 따라 쇼핑 행위를 판단한다.

상기 이미지 센싱 결과와 중량 센싱 결과가 매칭되면, 해당 상품의 쇼핑 행위는 합격이고, 이 상품의 정산 정보가 기록된다.

상기 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않으면, 해당 상품의 쇼핑 행위는 의심스러우며, 시스템은 코드 스캔 수집의 사용을 알리고, 코드 스캔으로 수집된 상품 관련 정보와 해당 상품의 중량 정보에 기반하여 판단하고, 매칭되면 이 상품의 정산 정보가 기록되고, 매칭되지 않으면 경보를 보내 직원에게 알린다.

따라서, 상기 판단 원리에 기반하면, 본 시스템의 쇼핑 행위 판단은,

이미지 센싱 결과와 중량 센싱 결과가 매칭되는 합격 행위 판단, 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않는 의심 행위 판단을 포함하고, 의심 행위는 코드 스캔 알림 또는 경보를 트리거하게 된다.

고객의 행위가 합격 행위일 경우, 수집 모듈이 획득한 상품의 대응 정산 정보는 정산 모듈에 의해 통계한다. 수집 모듈이 이미지 센싱을 주로 하면, 이때 이미지 센싱으로 인식한 상품 정보는 정확한 정보이며, 정산 모듈은 상기 정확한 정보에 기반하여 통계를 낸다. 수집 모듈이 코드 스캔 수집을 주로 하면, 이때 스캔한 상품의 정산 정보는 정확한 정보이며, 정산 모듈은 상기 정확한 정보에 기반하여 통계를 낸다. 정산 모듈 통계 후 쇼핑 리스트가 생성될 것이며, 쇼핑 리스트는 모바일 단말을 통해 표시되며, 사용자는 확인 후 결제를 결정할 수 있다.

실시예3:

구체적인 쇼핑 행위는 중량 센싱 결과 증량된 쇼핑 동작, 중량 센싱 결과 감량된 반품 동작을 포함한다.

쇼핑 행위의 판단은 시스템 기준에 따라 합격 행위와 의심 행위로 나뉜다. 합격 행위는 판단 데이터가 매칭되는 행위이고, 의심 행위는 판단 데이터가 매칭되지 않는 행위이다. 일반적으로, 의심 행위는 이미지 센싱된 이상 행위, 이미지 센싱된 규정 위반 행위, 이미지 센싱되지 않은 규정 위반 행위를 포함한다. 각 동작 중 대응 행위는 구체적으로 아래 같이 규정된다.

·단일 쇼핑 동작에 기반한 합격 행위 판단은,

이미지 센싱된 정상 행위: 화면 센싱 결과와 중량 센싱 결과가 매칭되어, 정산 모듈이 해당 상품의 정산 정보를 추가하는 것을 포함한다.

·단일 쇼핑 동작에 기반한 의심 행위 판단은,

이미지 센싱된 이상 행위: 이미지 수집부의 인식 오류, 이미지 센싱 오류이면, 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것,

이미지 센싱된 규정 위반 행위: 이미지 수집부가 정확히 인식하여, 행위가 의심스러우면(몰래 숨김으로 인해 중량이 매칭되지 않으면), 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것을 포함한다.

·단일 반품 동작에 기반한 합격 행위 판단은,

이미지 센싱된 정상 행위: 이미지 센싱 결과와 중량 센싱 결과가 매칭되면, 정산 모듈은 상기 상품의 정산 정보를 삭제하는 것을 포함한다.

·단일 반품 동작에 기반한 의심 행위 판단은,

이미지 센싱된 이상 행위: 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않으면, 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것을 포함한다.

상기 실시예는 본 발명의 원리 및 그 효과를 예시적으로 설명하였을 뿐, 본 발명을 한정하지 않는다. 해당 기술을 숙지하는 자라면 본 발명의 정신과 범위에 위배되지 않는 범위 내에서, 상기 실시예에 대하여 수정 및 변경을 진행할 수 있다. 따라서, 해당 분야에서 통상의 지식을 가진 자가 본 발명에서 공개한 정신과 기술 사상을 벗어나지 않으면서 완성한 모든 균등한 변형 또는 개량은 모두 본 발명의 청구범위에 포함되어야 한다.

Claims (14)

1. 쇼핑 도구의 상품에 대한 이미지 센싱, 중량 센싱에 기반하여 상품의 현재 구매 행위를 판단하고, 수집 모듈, 판단 모듈, 경보 모듈을 포함하는 쇼핑 도구에 기반한 부정 행위 방지 시스템에 있어서,
   데이터 베이스에 미리 저장된 각 상품의 데이터에 따라, 이미지 센싱은 심층 뉴럴 네트워크 알고리즘에 기반하여 중량 센싱 중인 현재 상품을 인식하고;
   이미지 인식을 상품 확인 기준으로 하여, 인식된 상품과 관련된 미리 저장된 중량 정보와 해당 상품의 현재 센싱 중량을 비교하고;
   비교 결과에 기반하여 쇼핑 행위 판단 및 시스템 자기 학습을 진행하며,
   쇼핑 행위의 판단은, 이미지 센싱 결과와 중량 센싱 결과가 매칭되는 합격 행위 판단, 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않는 의심 행위 판단을 포함하고, 상기 의심 행위는 코드 스캔 알림 또는 경보를 트리거하게 되고,
   시스템 자기 학습 과정은, 수집 모듈이 획득한 기본 특징과 시스템의 정확한 판단 결과 사이에 뉴럴 네트워크 관계를 형성하는 것을 포함하고, 네트워크 관계 중 단일 계층의 데이터의 업데이트에 기반하여, 인접된 관계 계층은 상호간의 양방향 가중치에 대한 조절을 통하여 전체 업데이트를 진행하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
2. 제1항에 있어서,
   상기 수집 모듈은 이미지 센싱에 기반한 이미지 수집부, 중량 센싱에 기반한 중량 수집부를 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
3. 제1항 또는 제2항에 있어서,
   정산 모듈을 더 포함하고, 합격 행위일 경우 수집 모듈이 획득한 상품의 대응 정산 정보는 상기 정산 모듈에 의해 통계되는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
4. 제3항에 있어서,
   상기 수집 모듈은 코드 스캔 수집부를 더 포함하고, 코드 스캔 결과 합격으로 판단되면, 상기 스캔 상품의 정산 정보는 상기 정산 모듈에 의해 통계되는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
5. 제4항에 있어서,
   코드 스캔 결과 판단은, 코드 스캔으로 획득한 상품의 중량과 코드 스캔 행위 후 중량 센싱으로 획득한 중량에 대한 판단을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
6. 제5항에 있어서,
   심층 뉴럴 네트워크 알고리즘에 기반한 이미지 자기 학습 과정은,
   이미지 센싱에 의해 상품의 기본 특징점을 수집하여 뉴럴 네트워크의 기본 계층을 구성하는 것을 포함하고, 상품에 대응되는 완전한 이미지가 뉴럴 네트워크의 최상위 계층이며; 임의의 계층의 변화에 기반하여, 최상위 계층을 제외한 기타 네트워크 계층 사이는 상호간의 양방향 가중치 관계에 대해 상향 또는 하향 자동 수정을 진행하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
7. 제6항에 있어서,
   상기 데이터 베이스를 더 포함하고, 각 상품마다 독립된 데이터 저장 경로가 있는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
8. 제7항에 있어서,
   상기 의심 행위는 이미지 센싱된 규정 위반 행위를 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
9. 제8항에 있어서,
   쇼핑 행위는 중량 센싱 결과 증량된 쇼핑 동작을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
10. 제9항에 있어서,
    쇼핑 행위는, 단일 쇼핑 동작에 기반한 합격 행위 판단을 포함하고,
    단일 쇼핑 동작에 기반한 합격 행위 판단은,
    이미지 센싱된 정상 행위: 화면 센싱 결과와 중량 센싱 결과가 매칭되어, 정산 모듈이 해당 상품의 정산 정보를 추가하는 것을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
11. 제10항에 있어서,
    단일 쇼핑 동작에 기반한 의심 행위 판단은,
    이미지 센싱된 규정 위반 행위: 이미지 수집부가 정확하게 인식하여, 행위가 의심스러우면, 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
12. 제1항 또는 제11항에 있어서,
    쇼핑 행위는 중량 센싱 결과 감량된 반품 동작을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
13. 제12항에 있어서,
    단일 반품 동작에 기반한 합격 행위 판단은,
    이미지 센싱된 정상 행위: 이미지 센싱 결과와 중량 센싱 결과가 매칭되면, 정산 모듈은 상기 상품의 정산 정보를 삭제하는 것을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.
14. 제13항에 있어서,
    단일 반품 동작에 기반한 의심 행위 판단은,
    이미지 센싱된 이상 행위: 이미지 센싱 결과와 중량 센싱 결과가 매칭되지 않으면, 경보 모듈은 코드 스캔을 알리거나 또는 직원에게 알리는 것을 포함하는, 쇼핑 도구에 기반한 부정 행위 방지 시스템.

Images