KR20190011248A

KR20190011248A - 태스크 할당 시스템에서 예상 성능을 추정하기 위한 기술들

Info

Publication number: KR20190011248A
Application number: KR1020187035153A
Authority: KR
Inventors: 지아 치쉬티; 잇타이 칸; 비카슈 카트리
Original assignee: 아피니티 유럽 테크놀로지즈 리미티드
Priority date: 2017-07-10
Filing date: 2018-04-05
Publication date: 2019-02-01
Also published as: CN111639834A; KR102321206B1; CN111639834B; KR20210134075A; AU2022279463A1; EP3479311A1; US10757260B2; JP7045409B2; KR102273632B1; WO2019012326A1; US20200351401A1; CA3194385C; KR102039290B1; US10116795B1; KR102182405B1; CA3159738C; JP2019530029A; CN109496321B; KR102477064B1; US11265421B2

Abstract

태스크 할당 시스템에서 태스크 할당 전략의 예상 성능을 추정하기 위한 기술들이 개시된다. 하나의 특정 실시예에서, 기술들은, 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들을 수신하는 단계; 적어도 하나의 컴퓨터 프로세서에 의해, 에이전트들을 태스크들과 페어링하기 위한 전략에 기초하여 복수의 이력 에이전트 태스크 할당들의 샘플을 결정하는 단계; 적어도 하나의 컴퓨터 프로세서에 의해, 샘플에 기초하여 전략의 예상 성능을 결정하는 단계; 적어도 하나의 컴퓨터 프로세서에 의해, 예상 성능을 출력하는 단계; 및 적어도 하나의 컴퓨터 프로세서에 의해, 예상 성능에 기초하여 태스크 할당 시스템의 성능을 최적화하는 단계를 포함하는 방법으로서 실현될 수 있다.

Description

태스크 할당 시스템에서 예상 성능을 추정하기 위한 기술들

<관련 출원들에 대한 상호 참조>

본 국제 특허 출원은 2017년 7월 10일자로 출원된 미국 특허 출원 제15/645,277호 및 2017년 7월 13일자로 출원된 미국 특허 출원 제15/648,788호에 대한 우선권을 주장하며, 이들 각각은 이들이 본 명세서에 전체적으로 기재된 것처럼 전체적으로 참조로 포함된다.

<기술분야>

본 개시내용은 일반적으로 태스크 할당 시스템에서의 성능에 관한 것으로, 보다 구체적으로는, 태스크 할당 시스템에서 태스크 할당 전략들의 예상 성능을 추정하기 위한 기술들에 관한 것이다.

통상적인 태스크 할당 시스템은 일정 기간 동안 한정된 수의 작업자들("에이전트들")에게 한정된 수의 태스크들을 할당한다. 태스크 할당 시스템의 일례는 컨택 센터(예를 들어, 콜센터)이다. 콜센터에서는, 주어진 근무 시간 또는 다른 기간 동안 한정된 수의 에이전트들을 사용할 수 있고, 근무 시간 동안 한정된 수의 발신자들이 콜센터에 전화를 건다. 전화를 건 다양한 필요와 이유들이 있는 각각의 발신자는 콜센터 에이전트들 중 한 에이전트에게 할당되는 태스크를 나타낸다.

통상적인 태스크 할당 전략은 어떤 태스크들이 어떤 에이전트들에게 할당되는지를 결정한다. 통상적으로, 태스크 할당 전략은 특정 타입들의 에이전트들이 특정 타입들의 태스크들을 더 잘 수행한다는 통찰력들로부터 도출되고, 이들 통찰력들에 기초하여 이들 에이전트들에게 특정 태스크들이 할당된다. 콜센터의 예에서, 통찰력은 판매를 잘하는 에이전트들은 구매를 하고 싶어하는 발신자들의 판매 대기열들에 우선적으로 할당되어야 하고, 기술 지원을 잘하는 에이전트들은 기술적 문제에 대한 솔루션을 찾는 발신자들의 기술 지원 대기열들에 우선적으로 할당되어야 한다는 것일 수 있다.

통상적인 태스크 할당 전략들은, 일부 경우들에서는, 통상적인 태스크 할당 시스템들의 성능을 향상시키는 데 효과적일 수 있지만, 다른 경우들에서는, 좋아도 성능에 큰 영향을 주지 않을 수도 있고 최악의 경우에는 성능을 저하시킬 수도 있다. 통상적으로, 통상적인 태스크 할당 전략들이 효과가 없을 수 있는 예들은 상이한 타입들의 태스크들에 할당된 에이전트들의 비교 우위에 대해 고려하지 않는 경우들이다.

상기의 관점에서, 태스크 할당 시스템에서 일정 기간 동안 한정된 수의 태스크들을 한정된 수의 에이전트들에 할당하기 위해 상이한 태스크 할당 전략들의 예상 성능의 추정을 가능하게 하는 시스템이 필요하다는 것이 이해될 수 있을 것이다.

이 특정 실시예의 다른 양태들에 따르면, 태스크 할당 시스템은 컨택 센터일 수 있고, 전략은 컨택들을 컨택 센터 에이전트들에 할당한다.

이 특정 실시예의 다른 양태들에 따르면, 방법은, 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들 중 적어도 하나의 중첩되는 이력 에이전트 태스크 할당을 포함하는 복수의 샘플들을 결정함으로써, 복수의 이력 에이전트 태스크 할당들을 오버샘플링하는 단계를 추가로 포함할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 방법은, 적어도 하나의 컴퓨터 프로세서에 의해, 샘플의 바이어스를 결정하는 단계; 및 적어도 하나의 컴퓨터 프로세서에 의해, 예상 성능의 바이어스에 대해 고려하는 단계를 추가로 포함할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 바이어스는 샘플 내의 에이전트들의 서브세트의 과다 표현(overrepresentation) 또는 샘플 내의 태스크 타입들의 서브세트의 과다 표현에 기인할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 예상 성능을 결정하는 단계는, 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들의 복수의 샘플들을 결정하는 단계를 포함할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 방법은, 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들을 이력 에이전트 태스크 할당들의 제1 서브세트, 및 제1 서브세트와 상이한 이력 에이전트 태스크 할당들의 홀드아웃(holdout) 서브세트로 분할하는 단계; 및 적어도 하나의 컴퓨터 프로세서에 의해, 제1 서브세트에 기초하여 전략을 생성하는 단계를 추가로 포함할 수 있고, 여기서 샘플은 홀드아웃 서브세트의 서브세트이고, 예상 성능을 결정하는 단계는 홀드아웃 서브세트에 기초한다.

이 특정 실시예의 다른 양태들에 따르면, 방법은 전략과 상이한 에이전트들을 태스크들과 페어링하기 위한 제2 전략에 기인하여 홀드아웃 서브세트에서 이력 에이전트 태스크 할당들을 과다 표현하는 단계를 추가로 포함할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 예상 성능을 결정하는 단계는 복수의 홀드아웃 서브세트들에 기초할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 방법은 복수의 홀드아웃 서브세트들에 기초하여 예상 성능과 연관된 표준 오차를 결정하는 단계를 추가로 포함할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 샘플은 샘플의 예상 성능과 전략의 피크 성능 간의 성능차의 양과 연관될 수 있다.

다른 특정 실시예에서, 기술들은 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서를 포함하는 시스템으로서 실현될 수 있으며, 적어도 하나의 컴퓨터 프로세서는 상기 논의된 방법의 단계들을 수행하도록 구성된다.

다른 특정 실시예들에서, 기술들은 비일시적인 프로세서 판독 가능 매체 및 매체 상에 저장된 명령어들을 포함하는 제조물로서 실현될 수 있으며, 명령어들은 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해 매체로부터 판독 가능하도록 구성되고, 이에 의해, 적어도 하나의 컴퓨터 프로세서로 하여금 상기 논의된 방법의 단계들을 수행하게 하게 한다.

다른 특정 실시예에서, 기술들은, 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들을 수신하는 단계; 적어도 하나의 컴퓨터 프로세서에 의해, 에이전트들을 태스크들과 페어링하기 위한 전략에 기초하여 복수의 이력 에이전트 태스크 할당들 중 적어도 하나에 대한 가중치를 결정하는 단계; 적어도 하나의 컴퓨터 프로세서에 의해, 가중치에 기초하여 전략의 예상 성능을 결정하는 단계; 및 적어도 하나의 컴퓨터 프로세서에 의해, 예상 성능을 출력하는 단계 - 전략의 예상 성능은 태스크 할당 시스템이 전략을 사용하도록 구성되는 경우에 태스크 할당 시스템의 성능이 최적화될 수 있음을 시연함 - 를 포함하는 방법으로서 실현될 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 적어도 하나의 가중치는 0 또는 엡실론(epsilon)일 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 바이어스는 에이전트들의 서브세트의 과다 가중치(overweighting) 또는 태스크 타입들의 서브세트의 과다 가중치에 기인할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 예상 성능을 결정하는 단계는 샘플 내의 적어도 2개의 가중화된 페어링에 대응하는 적어도 2개의 가중화된 결과를 결합하는 단계를 포함한다.

다른 특정 실시예들에서, 기술들은 비일시적인 프로세서 판독 가능 매체 및 매체 상에 저장된 명령어들을 포함하는 제조물로서 실현될 수 있으며, 명령어들은 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해 매체로부터 판독 가능하도록 구성되고, 이에 의해, 적어도 하나의 컴퓨터 프로세서로 하여금 상기 논의된 방법의 단계들을 수행하게 한다.

이하, 본 개시내용은 첨부 도면들에 도시된 그 특정 실시예들을 참조하여 보다 상세히 설명될 것이다. 본 개시내용은 특정 실시예들을 참조하여 아래에서 설명되지만, 본 개시내용은 이에 한정되는 것이 아니라는 것이 이해되어야 한다. 본 명세서의 교시들에 접근하는 본 기술분야의 통상의 기술자는 추가적인 구현들, 수정들 및 실시예들뿐만 아니라, 본 명세서에 기재된 본 개시내용의 범위 내에 있고, 이와 관련하여 본 개시내용이 상당히 유용할 수 있는 다른 사용 분야들도 인식할 것이다.

이제, 본 개시내용의 보다 완전한 이해를 용이하게 하기 위해, 첨부 도면들을 참조하도록 하며, 첨부 도면들에서 유사한 엘리먼트들에는 유사한 부호들이 참조되어 있다. 이들 도면들은 본 개시내용을 제한하는 것으로 해석되어서는 안되며, 단지 예시적인 것으로 의도된다.
도 1은 본 개시내용의 실시예들에 따른 태스크 할당 시스템의 블록도를 도시한다.
도 2는 본 개시내용의 실시예들에 따른 컨택 센터의 블록도를 도시한다.
도 3a는 본 개시내용의 실시예들에 따른 태스크 할당 모델의 개략도를 도시한다.
도 3b는 본 개시내용의 실시예들에 따른 컨택 페어링 모델의 개략도를 도시한다.
도 4a는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4b는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4c는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4d는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4e는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4f는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4g는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4h는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4i는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4j는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 4k는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정의 개략도를 도시한다.
도 5는 본 개시내용의 실시예들에 따른 태스크 할당 지불 매트릭스의 개략도를 도시한다.
도 6a는 본 개시내용의 실시예들에 따른 예상 성능 추정 방법의 흐름도를 도시한다.
도 6b는 본 개시내용의 실시예들에 따른 예상 성능 추정 방법의 흐름도를 도시한다.
도 7은 본 개시내용의 실시예들에 따른 예상 성능 추정 방법의 흐름도를 도시한다.
도 8은 본 개시내용의 실시예들에 따른 예상 성능 추정 방법의 흐름도를 도시한다.
도 9는 본 개시내용의 실시예들에 따른 예상 성능 추정 방법의 흐름도를 도시한다.

통상적인 태스크 할당 전략은 어떤 태스크들이 어떤 에이전트들에게 할당되는지를 결정한다. 통상적으로, 태스크 할당 전략은 특정 타입들의 에이전트들이 특정 타입들의 태스크들을 더 잘 수행한다는 통찰력들로부터 도출되고, 이들 통찰력들에 기초하여 이들 에이전트들에게 특정 태스크들이 할당된다. 콜센터의 예에서, 통찰력은 판매를 잘하는 에이전트들은 구매를 하고 싶어하는 발신자들의 판매 대기열들에 우선적으로 할당되어야 하고, 기술 지원을 잘하는 에이전트들은 기술적 문제에 대한 솔루션을 찾는 발신자들의 기술 지원 대기열에 우선적으로 할당되어야 한다는 것일 수 있다.

통상적인 태스크 할당 전략들은, 일부 경우들에서는, 통상적인 태스크 할당 시스템들의 성능을 향상시키는 데 효과적일 수 있지만, 다른 경우들에서는, 좋아도 성능에 큰 영향을 주지 않을 수도 있고 최악의 경우에는 성능을 저하시킬 수도 있다. 통상적으로, 통상적인 태스크 할당 전략들이 효과가 없을 수 있는 예들은 상이한 타입들의 태스크들에 할당된 에이전트들의 비교 우위에 대해 고려하지 않는 경우들이다. 비교 우위에 대한 일반적인 설명은 예를 들어, Cowen과 Tabarrok의 Modern Principles: Microeconomics, 2d ed.(2011)(pp. 16-19)에서 찾아볼 수 있으며, 이는 본 명세서에서 참조로 포함된다.

도 1은 본 개시내용의 실시예들에 따른 태스크 할당 시스템(100)의 블록도를 도시한다. 본 명세서의 설명은 하나 이상의 모듈을 포함할 수 있는 태스크 할당 시스템에서 예상 성능을 추정하기 위한 시스템의 네트워크 엘리먼트들, 컴퓨터들 및/또는 컴포넌트들 및 방법을 설명한다. 본 명세서에서 사용됨에 있어서, "모듈"이라는 용어는 컴퓨팅 소프트웨어, 펌웨어, 하드웨어 및/또는 이들의 다양한 조합들을 지칭하는 것으로 이해될 수 있다. 그러나, 모듈들은 하드웨어, 펌웨어 상에 구현되지 않거나 비일시적인 프로세서 판독 가능한 기록 가능 저장 매체 상에 기록되지 않는 소프트웨어로서 해석되어서는 안된다(즉, 모듈들은 그 자체로는 소프트웨어가 아니다). 모듈은 예시적인 것임에 주목하도록 한다. 모듈들은 결합, 통합, 분리 및/또는 복제되어 다양한 애플리케이션들을 지원할 수 있다. 또한, 특정 모듈에서 수행되는 것으로 본 명세서에서 설명된 기능은 특정 모듈에서 수행되는 기능 대신에 또는 그에 부가하여 하나 이상의 다른 모듈에서 및/또는 하나 이상의 다른 디바이스에 의해 수행될 수 있다. 또한, 모듈들은 다수의 디바이스들 및/또는 서로에 대해 로컬 또는 원격인 다른 컴포넌트들 전역에서 구현될 수 있다. 또한, 모듈들은 하나의 디바이스로부터 이동되어 다른 디바이스에 추가될 수 있고/있거나, 두 디바이스 모두에 포함될 수 있다.

도 1에 도시된 바와 같이, 태스크 할당 시스템(100)은 태스크 할당 모듈(110)을 포함할 수 있다. 태스크 할당 시스템(100)은 큐잉 또는 스위칭 컴포넌트들 또는 다른 인터넷-, 클라우드- 또는 네트워크-기반 하드웨어 또는 소프트웨어 솔루션들을 포함하여 다양한 에이전트들 간에 태스크들을 할당하는 것을 돕는 스위치 또는 다른 타입의 라우팅 하드웨어 및 소프트웨어를 포함할 수 있다.

태스크 할당 모듈(110)은 착신 태스크들을 수신할 수 있다. 도 1의 예에서, 태스크 할당 시스템(100)은 주어진 기간 동안 m개의 태스크, 즉, 태스크들(130A-130m)을 수신한다. m개의 태스크 각각은 서비스 처리 또는 다른 타입들의 태스크 처리를 위해 태스크 할당 시스템(100)의 에이전트에 할당될 수 있다. 도 1의 예에서는, 주어진 기간 동안 n개의 에이전트, 즉, 에이전트들(120A-120n)이 사용 가능하다. m과 n은 1 이상의 임의의 큰 유한 정수들일 수 있다. 컨택 센터와 같은 현실 태스크 할당 시스템에서는, 근무 시간 동안 컨택 센터에 로그인하여 컨택들과 상호작용하는 수십, 수백 명 등의 에이전트들이 있을 수 있으며, 컨택 센터는 근무 시간 동안 수십, 수백, 수천 명 등의 컨택들(예를 들어, 전화들)을 수신할 수 있다.

"L0" 환경들로 알려진 일부 환경들에서는, m개의 태스크 중 하나(예를 들어, 태스크(130A))가 에이전트에 할당될 준비가 되었을 수 있고, n개의 에이전트들 중 하나(예를 들어, 에이전트(120A))가 할당된 태스크를 수신할 준비가 되었을 수 있다. L0 환경에서는, 사용 가능한 태스크 또는 에이전트에 대한 선택의 여지가 없으며, 태스크 할당 전략은 태스크(130A)를 에이전트(130A)에 할당할 수 있다.

"L1" 환경들로 알려진 다른 환경들에서는, m개의 태스크 중 하나(예를 들어, 태스크(130A))가 에이전트에 할당될 준비가 되었을 수 있고, 다수의 에이전트들(예를 들어, 에이전트(120A 및 120B))이 할당된 태스크를 수신할 준비가 되었을 수 있다. L1 환경에서는, 다수의 사용 가능한 에이전트들 중에서 선택을 하고, 태스크 할당 전략은 에이전트(120A 또는 120B) 중 어느 하나에 태스크(130A)를 할당할 수 있다.

"L2" 환경들로 알려진 또 다른 환경들에서는, 다수의 태스크들(예를 들어, 태스크들(130A 및 130B))이 에이전트에 할당될 준비가 되었을 수 있고, n개의 에이전트 중 하나(예를 들어, 에이전트(120A))가 할당된 태스크를 수신할 준비가 되었을 수 있다. L2 환경에서는, 다수의 사용 가능한 태스크들 중에서 선택하고, 태스크 할당 전략은 태스크(130A 또는 130B) 중 어느 것을 에이전트(120A)에 할당할 수 있다.

"L3" 환경들로 알려진 또 다른 환경에서는, 다수의 태스크들(예를 들어, 태스크들(130A 및 130B))이 에이전트에 할당될 준비가 되었을 수 있고, 다수의 에이전트들(예를 들어, 에이전트(120A 및 120B))이 할당된 태스크를 수신할 준비가 되었을 수 있다. L3 환경에서는, 다수의 사용 가능한 에이전트들과 태스크들 사이에서 선택하고, 태스크 할당 전략은 사용 가능한 태스크들 중 일부 또는 전부를 사용 가능한 에이전트들 중 일부 또는 전부에 대해 (예를 들어, 할당 시퀀스 또는 단일 배치 할당(single batch assignment)으로) 쌍을 이루게 할 수 있다.

이들 환경들(L0-L3) 및 이들 사이의 다양한 전이들은, 예를 들어, 미국 특허 출원 제15/395,469호의 컨택 센터 컨텍스트에서 상세히 설명되며, 이는 본 명세서에 참조로 포함된다.

일부 실시예들에서, 태스크 할당 전략 모듈(140)은 태스크 할당 시스템(100)에 통신 가능하게 연결될 수 있고, 및/또는 태스크 할당 시스템(100)에서 동작하도록 구성될 수 있다. 태스크 할당 전략 모듈(140)은 개별 태스크들을 개별 에이전트들에 할당하기 위해(예를 들어, 컨택들을 컨택 센터 에이전트들과 페어링하기 위해) 하나 이상의 태스크 할당 전략(또는 "페어링 전략")을 구현할 수 있다.

태스크 할당 전략 모듈(140)에 의해 다양한 상이한 태스크 할당 전략들이 고안되어 구현될 수 있다. 일부 실시예들에서는, 예를 들어, 가장 오래 대기 중인 에이전트가 다음으로 사용 가능한 태스크를 수신하거나(L1 환경들) 또는 가장 오래 대기 중인 태스크가 다음으로 사용 가능한 태스크에 할당되는(L2 환경들) 선입 선출(first-in/first-out)("FIFO") 전략이 구현될 수 있다. 다른 FIFO 및 FIFO 유사 전략들은 개별 태스크들 또는 개별 에이전트들에 특정된 정보에 의존하지 않고 할당들을 수행할 수 있다.

다른 실시예들에서, 성능-기반 라우팅(performance-based routing)(PBR) 전략이 태스크 할당을 위해 더 높은 성능의 에이전트들을 우선순위화하는 데 사용될 수 있다. 예를 들어, PBR 하에서는, 사용 가능한 에이전트들 중 가장 높은 성과의 에이전트가 다음으로 사용 가능한 태스크를 수신한다. 다른 PBR 및 PBR 유사 전략들은 특정 에이전트들에 관한 정보를 사용하여 할당들을 수행할 수 있지만, 특정 태스크들 또는 에이전트들에 대한 정보에 반드시 의존할 필요는 없다.

또 다른 실시예들에서, 거동 페어링(behavioral pairing)(BP) 전략이 특정 태스크들 및 특정 에이전트들 모두에 관한 정보를 사용하여 태스크들을 에이전트들에 최적으로 할당하는 데 사용될 수 있다. 대각선 모델 BP 전략 또는 네트워크 플로우 BP 전략과 같은 다양한 BP 전략들이 사용될 수 있다. 이들 태스크 할당 전략들 및 다른 태스크 할당 전략들은, 예를 들어, 미국 특허 제9,300,802호 및 미국 특허 출원 제15/582,223호의 컨택 센터 컨텍스트에서 상세히 설명되며, 이는 본 명세서에 참조로 포함된다.

일부 실시예들에서, 이력 할당 모듈(150)은 태스크 할당 모듈(110) 및/또는 태스크 할당 전략 모듈(140)과 같은 다른 모듈들을 통해 태스크 할당 시스템(100)에 통신 가능하게 연결될 수 있고, 및/또는 태스크 할당 시스템(100)에서 동작하도록 구성될 수 있다. 이력 할당 모듈(150)은 이미 수행된 에이전트 태스크 할당들에 관한 정보를 모니터링, 저장, 리트리브 및/또는 출력하는 것과 같은 다양한 기능들을 담당할 수 있다. 예를 들어, 이력 할당 모듈(150)은 태스크 할당 모듈(110)을 모니터링하여 주어진 기간에 태스크 할당들에 관한 정보를 수집할 수 있다. 이력 태스크 할당의 각각의 기록은 에이전트 식별자, 태스크 및/또는 태스크 타입 식별자 및 출력 정보와 같은 정보를 포함할 수 있다.

일부 실시예들에서 및 일부 컨텍스트에 있어서, 부가적인 정보가 저장될 수 있다. 예를 들어, 콜센터 컨텍스트에서, 이력 할당 모듈(150)은 전화가 시작된 시간, 전화가 종료된 시간, 다이얼링된 전화 번호 및 발신자의 전화 번호에 관한 정보를 저장할 수 있다. 다른 예로서, 발송 센터(예를 들어, "트럭 롤(truck roll)") 상황에서, 이력 할당 모듈(150)은 운전자(즉, 현장 에이전트)가 발송 센터로부터 출발하는 시간, 추천 루트, 취해진 루트, 추정 이동 시간, 실제 이동 시간, 고객 사이트에서 고객 태스크를 핸들링하는 데 보낸 시간량 등에 관한 정보를 저장할 수도 있다.

일부 실시예들에서, 이력 할당 모듈(150)은 일정 기간(예를 들어, 지난 주, 지난 달, 지난 해 등) 동안의 이력 할당들의 세트에 기초하여 페어링 모델 또는 유사한 컴퓨터 프로세서 생성 모델을 생성할 수 있으며, 이 모델은 태스크 할당 전략 모듈(140)에 의해 사용되어 태스크 할당 모듈(110)에 대한 태스크 할당 권고들 또는 지시들을 수행한다. 다른 실시예들에서, 이력 할당 모듈(150)은 태스크 할당 전략 모듈(140) 또는 예상 성능 추정 모듈(160)과 같은 다른 모듈에 이력 할당 정보를 전송하여, 페어링 모델 및/또는 페어링 모델에 기초한 페어링 전략을 생성할 수 있다.

일부 실시예들에서, 예상 성능 추정 모듈(160)은 태스크 할당 모듈(110) 및/또는 이력 할당 모듈(150)과 같은 다른 모듈들을 통해 태스크 할당 시스템(100)에 통신 가능하게 연결될 수 있고, 및/또는 태스크 할당 시스템(100)에서 동작하도록 구성될 수 있다. 예상 성능 추정 모듈(160)은 예를 들어, 이력 할당 모듈(150)로부터 수신될 수 있는 이력 할당 정보를 사용하여 (예를 들어, 페어링 모델과 관련하여) 태스크 할당 전략의 예상 성능을 추정할 수 있다. 다양한 태스크 할당 전략들 및 다양한 컨텍스트들에 대해 예상 성능 추정 모듈(160)에 의해 수행되는 예상 성능 및 다른 기능을 추정하기 위한 기술들이 본 개시내용 전반에 걸쳐 나중 섹션들에서 설명된다.

일부 실시예들에서, 예상 성능 추정 모듈(160)은 추정된 예상 성능을 출력하거나 다른 방식으로 이를 보고 또는 사용할 수 있다. 추정된 예상 성능은 태스크 할당 전략의 품질을 평가하여, 예를 들어, 상이한 태스크 할당 전략(또는 상이한 페어링 모델)이 사용되어야 하는지 여부를 결정하거나, 또는 태스크 할당 전략을 사용하도록 최적화되거나 다른 방식으로 구성될 때, 태스크 할당 시스템(100) 내에서 달성될 수 있는 예상되는 전체 성능(또는 성능 이득)을 예측하는 데 사용될 수 있다.

위에서 언급된 바와 같이, 다양한 컨텍스트들이 컨택 센터들 및 배송 센터들을 포함하되, 이에 제한되지 않는 태스크 할당 시스템(100)과 유사한 실시예들을 사용할 수 있다. 컨택 센터들에 대한 하나의 그러한 예가 도 2를 참조하여 아래에서 설명된다.

도 2는 본 개시내용의 실시예들에 따른 컨택 센터(200)의 블록도를 도시한다. 컨택 센터(200)는 태스크들(즉, "컨택들")을 컨택 센터의 에이전트들에 할당하는 특수 컨텍스트라는 점에 있어서 태스크 할당 시스템(100)(도 1)과 유사하다. 인바운드 환경에서, 컨택들은 전화를 걸거나, 다르게는 (예를 들어, 라이브 텍스트 채팅, 화상 채팅, 이메일, 소셜 미디어를 통해) 컨택 센터(200)의 스위치 또는 다른 컴포넌트에 접속한다. 아웃바운드 환경에서, 컨택들은 전화를 걸거나(또는 콜백을 받거나), 다르게는 컨택 센터(200)의 아웃바운드 다이얼러 또는 다른 컴포넌트를 통해 접속되고, 에이전트에 동시에 또는 후속하여 할당될 수 있다.

태스크 할당 시스템(100)과 유사하게, 컨택 센터(200)는 n개의 에이전트(220A-220n) 및 주어진 기간에 걸쳐 에이전트들에 할당되도록 도달하는 m개의 컨택(230A-230m)을 갖는다. 스위치(210) 또는 PBX/ACD 또는 로드 밸런서와 같은 유사한 라우팅 컴포넌트가 개별 컨택들을 개별 에이전트들에 접속시킬 수 있다.

태스크 할당 전략 모듈(140)과 유사하게, 컨택 페어링 전략 모듈(240)(예를 들어, BP 모듈 및/또는 벤치마킹 모듈)은 컨택 페어링 전략에 따라 스위치(210)에 대한 페어링 권고들 또는 지시들을 수행할 수 있다.

이력 할당 모듈(150)과 유사하게, 이력 컨택 페어링 모듈(250)은 이미 만들어진 에이전트 컨택 페어링들에 관한 정보를 모니터링, 저장, 리트리브 및/또는 출력할 수 있다. 이력 컨택 페어링 모듈(250)은 페어링 모델을 생성할 수 있으며, 이 모델은 컨택 페어링 전략 모듈(240)에 의해 사용되어 스위치(210)에 대한 태스크 할당 권고들 또는 지시들을 수행할 수 있다. 다른 실시예들에서, 이력 컨택 페어링 모듈(250)은 컨택 페어링 전략 모듈(240) 또는 예상 성능 추정 모듈(160)과 같은 다른 모듈에 이력 할당 정보를 전송하여, 페어링 전략과 함께 사용하기 위한 페어링 모델을 생성할 수 있다. 이하에 상세하게 설명되는 도 3a 및 도 3b는 간략화된 태스크 할당 시스템들에 대한 그러한 페어링 모델들의 예들을 도시한다.

도 3a는 본 개시내용의 실시예들에 따른 태스크 할당 모델(300A)의 개략도를 도시한다. 태스크 할당 모델(300A)은 3개의 에이전트(a₀-a₂) 및 3개의 태스크 타입(t₀-t₂)을 갖는 예시적인 목적의 간단한 태스크 할당 시스템을 모델링한다. 일부 실시예들에서, 에이전트들 및/또는 태스크 타입들은 에이전트들 또는 태스크 타입들에 관한 일부 정보에 따라 정렬될 수 있다(예를 들어, 대각선 BP 모델). 다른 실시예들에서, 에이전트들 및 태스크 타입들은 특정 정렬 없이 모델로 나타낼 수 있다(예를 들어, 지불 매트릭스 또는 네트워크 플로우 BP 모델).

태스크 할당 모델(300A)에서, 각각의 셀은 특정 태스크 타입(t_i)과 특정 에이전트(a_k)의 가능한 할당을 나타낸다. 각각의 셀은 에이전트 및 태스크 타입에 대한 상호 작용 항(함수) g(a_k, t_i)를 포함한다. 예를 들어, 에이전트 a₂에 태스크 타입 t₁을 할당하면 g(a₂, t₁)의 상호 작용 항을 갖는 것으로 표시된다. 임의의 주어진 상호 작용 항의 특정 기능적 정의는 사용되는 태스크 할당 전략, 태스크 할당 시스템의 컨텍스트, 주어진 에이전트가 사용 가능한 데이터 및 태스크 할당 모델(300A)을 구성하는 데 사용되는 태스크 타입 등에 따라 달라진다.

일부 실시예들에서, 상호 작용 항은 특정 페어링의 비용 또는 값(예를 들어, 판매 대기열에서의 예상 전환율, 고객 지원 대기열에서의 예상 고객 만족도, 배송 센터에서의 트럭 롤의 예상 비용 등)을 나타낼 수 있다. 각각의 경우, 기대값은 에이전트와 태스크 타입에 관한 정보의 조합을 사용하여 추정되거나 다른 방식으로 결정될 수 있다.

도 3b는 본 개시내용의 실시예들에 따른 컨택 페어링 모델(300B)의 개략도를 도시한다. 태스크 할당 모델(300A)(도 3a)과 마찬가지로, 컨택 페어링 모델(300B)은 3개의 에이전트(a₀-a₂), 및 컨택 센터 컨텍스트의 태스크들일 수 있는 3개의 컨택 타입(c₀-c₂)을 갖는 예시적인 목적의 간단한 컨택 센터를 모델링한다. 컨택 페어링 모델(300B)의 각각의 셀은 개별 에이전트들과 컨택 타입들의 각각의 가능한 페어링에 대한 상호 작용 항의 값을 나타낸다. 컨택 페어링 모델(300B)은, 예를 들어, 이미 본 명세서에 참조로 포함된 미국 특허 제9,300,802호에 설명된 대각선 BP 전략에 적합할 수 있다.

대각선 모델에 따르면, 선호하는 페어링들은 컨택 페어링 모델(300B)을 통과하는 "y=x"의 45°대각선, 즉, a₀와 c₀, a₁과 c₁, a₂와 c₂에 상당한다. 대각선을 따라 발견되는 이들 셀들 각각은 1로 평가되는 상호 작용 항을 갖는 것으로 도시되어 있다.

일부 상황들에서는, 모든 컨택(L1)에 대해 선호하는 에이전트를 선택하거나 모든 에이전트(L2)에 대해 선호하는 컨택을 선택하는 데 항상 에이전트들(L1) 또는 컨택들(L2)의 최적의 선택을 사용할 수는 없다. 제한된 선택이 있는 상황들에서는, 페어링 전략이 최상의 사용 가능한 옵션을 선택할 수 있다. 예를 들어, 컨택 페어링 모델(300B)에 도시된 바와 같이, 차선의 페어링들은 y=x 대각선에 상대적으로 가까운 셀들에 있다. 이들 셀들 각각은 0.5로 평가되는 상호 작용 항을 갖는 것으로 도시되어 있다. 이상적인 대각선 쌍들에서 더 멀리 움직이는 것은 가장 덜 선호하는 쌍들로, a₀와 c₂ 및 a₂와 c₀ 둘 다 0으로 평가되는 상호 작용 항들을 갖는다.

컨택 센터에 대한 컨택 페어링 모델(300B)과 같은 페어링 모델은 태스크 할당 시스템에 대한 하나의 예시적인 컨텍스트이다. 위에서 언급된 다른 컨텍스트들은 배송 센터에서 트럭 롤에 파견되는 수리 기술자, 및 컨설팅 회사에 의해 특정 프로젝트를 맡은 컨설팅 직원을 포함한다. 컨텍스트들의 더 많은 예들은 에이전트들(예를 들어, 보험 청구 조정자들)에 대한 사례 할당들(예를 들어, 보험 청구들), 및 소매점의 개별 판매원들과의 페어링을 위한 소매 고객들의 인식을 포함한다. 이들 컨텍스트들은 예시적인 태스크 할당 시스템들로서 기능하며, 본 개시내용의 실시예들은 이들 컨텍스트들에 제한되지 않는다.

태스크 할당 모델(300A) 및 컨택 페어링 모델(300B)과 달리, 통상적인 작업 할당 전략들은 잠재적으로 순수한 직관들에 기초하여 작업자들(또는 "에이전트들")을 태스크들에 할당한다. 예를 들어, 컨택 센터에서, 태스크들은 에이전트의 성과에 따라 에이전트에게 할당될 수 있다(예를 들어, PBR). 유사하게, 수리 기술자는 트럭 경로의 길이를 최소화하도록 계산된 트럭 경로를 할당받을 수 있다. 또 다른 예로서, 컨설팅 회사는 직원의 임기에 기초하여 특정 프로젝트에 직원을 할당할 수 있다.

모든 이들 경우들에서, 부족한 것은 개별 작업자를 개별 태스크에 할당하는 것이 전체 시스템 내의 나머지 작업자들과 태스크들에 미치는 영향을 평가하는 것이다. 예를 들어, 컨택 센터 환경에서, 우수한 성과를 내는 에이전트와 낮은 성과를 내는 에이전트에 할당되는 태스크들의 타입들을 고려하지 않고, 우수한 성과를 내는 에이전트에게 하나의 태스크를 할당하면, 낮은 성과를 내는 에이전트에게는 상이한 태스크를 할당해야 할 수 있다. 전체적으로, 전체 컨택 센터의 성능이 저하될 수 있다. 마찬가지로, 수리 기술자에게 특정 루트를 할당하면 다른 수리 기술자들에게는 다른 루트들을 할당하게 되어, 전체 시스템 성능이 저하될 수 있다.

결과적으로, 개별 에이전트는 실제로 할당된 태스크를 잘 수행할 수 있지만, 나머지 태스크를 할당한 다른 에이전트는 실질적으로 잘 수행하지 못할 수 있다. 반직관적으로, 각각의 태스크 할당을 독립적으로 최적화하려고 시도하면 실제로는 태스크 할당 시스템의 전체 성능을 향상시키지 않고 이를 더 낮출 수 있다.

본 개시내용의 실시예들은 태스크 할당 전략들의 성능을 보다 정확하게 추정하기 위한 기술들을 제공한다. 기술들은, 임의의 개별적으로 할당된 태스크가 있는 경우의 성능을 최적화하는 대신에, 전체 시스템 성능을 최적화하기 위해 일정 기간 동안 후속 할당들의 누적 효과에 대해 고려하는 방식으로 에이전트들에게 태스크들을 할당한다. 예를 들어, 태스크 할당 전략은 일부 타입들의 태스크들에는 일부 에이전트들을 사용하고, 다른 타입들의 태스크들에는 다른 에이전트들을 사용하는 비교 우위를 활용할 수 있다.

도 4a 내지 도 4k는 태스크 할당 전략들에 대한 예상 성능 추정들의 개략도들을 도시하며, 성능 추정을 추정하기 위한 여러 기술들을 단계적으로 설명한다. 이들 예들은 주로 상이한 조건들 하의 태스크 할당 시스템에서 대각선 모델 BP 전략의 예상 성능을 추정하는 것을 도시한다. 기술들은 이력 태스크 할당 데이터를 사용하여 예상 성능을 추정하고 전략을 검증할 수 있다.

구체적으로는, 이하에서 보다 상세하게 설명되는 바와 같이, 도 4a 내지 도 4c는 이력 할당 데이터를 사용하여 대각선 BP 모델의 예상 성능을 추정하기 위한 검증 기술을 예시한다. 도 4e 및 도 4f는, 기본 이력 할당 데이터에 에이전트-선택 바이어스가 있을 때, 도 4a 내지 도 4c를 참조하여 설명되는 추정 기술의 정확도를 향상시키기 위한 기술에 대한 이하 설명을 수반한다. 도 4g 및 도 4h는, 기본 이력 할당 데이터에 태스크-선택 바이어스가 있을 때, 도 4a 내지 도 4c를 참조하여 설명되는 추정 기술의 정확도를 향상시키기 위한 기술에 대한 이하 설명을 수반한다. 도 4i 및 도 4j는 검증되는 태스크 할당 전략의 추정된 예상 성능을 기본 이력 할당 데이터로 생성된 태스크 할당 전략과 비교하는 기술에 대한 이하 설명을 수반한다. 마지막으로, 도 4k는 검증되는 태스크 할당 전략의 추정되는 예상 성능의 현실적인 기대치들을 향상시키기 위해 기본 이력 할당 데이터에서 발견되는 선택의 자유도 분포를 시각화하는 기술에 대한 이하 설명을 수반한다.

도 4a는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400A)의 개략도를 도시한다. 이 태스크 할당 시스템에는, 임의의 한정된 수의 에이전트들 및 태스크 타입들이 있을 수 있다. BP 전략 대각선 모델 하에서, 각각의 에이전트에는 0 내지 1의 에이전트 백분위 순위가 할당될 수 있고, 각각의 태스크 타입에는 0 내지 1의 태스크 백분위 순위가 할당될 수 있다. 대각선 BP 전략이 이상적인 선택에 의해 피크 성능에서 동작할 것으로 예상되는 이상적인 또는 최적의 페어링들은 y=x(즉, 태스크 백분위 수와 에이전트 백분위 수가 동일한 선)를 따라 점선으로 된 대각선으로 도시된다.

이력 할당 데이터가 수신될 수 있다. 예상 성능 추정(400A)의 개략도에서, 이력 할당들 각각이 그래프 상에 도시된다. 문자 "O"로 표시된 점들은 바람직한 결과들을 갖는 페어링들을 나타내고, 문자 "X"로 표시된 점들은 바람직하지 않은 결과들을 갖은 바람직하지 않은 결과들을 갖는 페어링들을 나타낸다. 예를 들어, 컨택 센터의 판매 대기열에서, "O"는 판매가 이루어진 이력 태스크를 나타낼 수 있고, "X"는 판매가 이루어지지 않은 이력 태스크를 나타낼 수 있다(이항 결과 변수). 다른 예들에서는, 다항 또는 연속 결과 변수들이 사용될 수 있다.

태스크 할당 시스템이 FIFO 페어링 전략 또는 다른 본질적으로 랜덤하거나 상대적으로 균일하게 분포되는 페어링 전략을 사용하는 경우, 이력 할당들의 세트는 예상 성능 추정(400A)과 같은 그래프 전반에 걸쳐 상대적으로 균일하게 분포될 수 있다. 즉, FIFO 하에서는, 주어진 타입에 대한 태스크가 대략적으로 동일한 활용도로 에이전트들 중 임의의 에이전트에 할당될 수 있는 동일한 확률이 있다. 일부 이력 할당들은 대각선에 가깝게 나타날 수 있지만(대각선 BP 전략 하에서 선호하는 페어링들), 다른 이력 할당들은 대각선에서 멀리 떨어져 나타날 수 있고(비선호 쌍), 기타 등등 이와 같다.

예상 성능 추정(400A)에는, 29개의 이력 할당의 전체 세트가 도시되어 있다. 세트는 바람직한 결과들(O들)을 갖는 12개의 페어링과 바람직하지 않은 결과들(X들)을 갖는 17개의 페어링을 포함한다. 일부 실시예들에서, 기준치 또는 기본 태스크 할당 전략(예를 들어, 이 예에서와 같이 FIFO)의 추정되는 예상 성능은 세트에서 발견되는 바람직한 결과들의 비율로서 계산될 수 있다:

.

대각선 BP 전략은 태스크들을 백분위 순위에서 가장 유사한 에이전트들과 우선적으로 페어링함으로써 다른 페어링 전략들을 개선하고자 하며, 따라서, 이들 쌍들이 차트 상에 그려지는 경우, 이들은 y=x의 대각선(즉, 태스크 백분위 수 = 에이전트 백분위 수)에 가능한 한 가깝게 배치될 것이다.

일부 실시예들에서, 태스크 할당 전략의 예상 성능은 이력 할당 데이터를 사용하여 추정(예를 들어, 검증)될 수 있다. 일부 실시예들에서, 검증은 페어링 모델을 구성하는 데 사용되는 것과 동일한 이력 할당들을 사용하여 수행될 수 있다. 다른 실시예들에서는, 한 세트의 이력 할당들이 페어링 모델을 구성하는 데 사용될 수 있고, 상이한 세트의 이력 할당들이 모델을 검증하는 데 사용될 수 있다.

이력 할당 데이터를 사용하여 태스크 할당 전략을 검증하는 통찰력은 이력 할당들의 세트가 이력 할당들을 생성한 기본 페어링 전략 대신에 태스크 할당 시스템이 검증되는 페어링 전략을 실행하고 있을 때 발생할 가능성에 따라 샘플링(또는 가중화 등)될 수 있다는 것이다.

대각선 BP 전략의 경우, 일부 실시예들에서 사용되고 도 4b 및 도 4c에 의해 예시되는 검증 기술의 편리한 기하학적 표현이 있다. 즉, 이력 페어링이 이상적인 대각선에 가까울수록, 검증되는 대각선 BP 전략을 사용하여 이력 페어링이 발생할 가능성이 높아진다. 샘플에서 대각선으로부터 특정 거리를 초과하는 이력 할당들을 제외하기 위한 분할이 확립될 수 있다.

양호한 대각선 페어링 모델의 경우, 샘플에 대한 허용 가능한 거리(임계 거리 또는 임계 "적합 근접도(closeness of fit)")가 대각선에 더 가까워짐에 따라 샘플 내에서는 비례하여 더 바람직한 결과들이 있어야 한다. 도 4a는 이력 페어링들의 전체 검증 세트를 도시하고, 도 4b는 상대적으로 큰 샘플(대각선으로부터 상대적으로 멀리 있는 허용 가능한/임계 거리)을 도시하고, 도 4c는 상대적으로 좁은 샘플(대각선으로부터 상대적으로 짧은 허용 가능한/임계 거리)을 도시한다.

도 4b는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400B)의 개략도를 도시한다. 예상 성능 추정(400B)에서는, 대각선으로부터 특정 거리를 초과하는 2개의 영역이 회색으로 표시된 것을 제외하고, 이력 태스크들의 플롯이 다시 도시되었다. 예상 성능 추정(400B)에서, 나머지 샘플은 바람직한 결과들(O들)을 갖는 10개의 페어링을 포함하여 21개의 이력 할당을 포함한다. 따라서, 이상적인 피크 성능으로부터의 이 거리가 주어지면 대각선 BP 전략의 추정되는 예상 성능은

로 결정될 수 있다.

의 예상 성능을 예상 성능 추정(400A)(도 4a)을 참조하여 도시된

의 기본 성능과 비교하면, 기본 전략에 비해 이 대각선 BP 전략에 의해 제공되는 예상되는 개선(또는 예상 "이득")은 대략 17%일 수 있다. 이 예상 이득 추정치는 이 태스크 할당 시스템에서 사용할 수 있는 (제한된) 선택의 통상적인 양이 이 상대적으로 넓은 페어링 밴드 전반에 걸쳐 분포되는 페어링들을 산출하는 경향이 있다고 가정한다.

도 4c는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400C)의 개략도를 도시한다. 예상 성능 추정(400C)은 예상 성능 추정(400B)(도 4b)보다 좁은 페어링 밴드(즉, 샘플에 포함하기 위한 대각선으로부터 더 짧은 허용 가능한 거리)를 도시하며, 제외된 영역들은 더 크다. 예상 성능 추정(400C)에서는, 12개의 이력 할당의 서브세트가 바람직한 결과들(O들)을 갖는 8개의 페어링을 포함하였다. 따라서, 대각선 BP 전략의 추정되는 예상 성능은

, 또는 이 상대적으로 좁은 밴드 전반에 걸쳐 분포되는 페어링들을 산출하는 경향이 있는 이 (덜 제한된) 선택의 양에 대해 기본 전략에 비해 대략 63% 이득인 것으로 결정될 수 있다.

도 4a 내지 도 4c의 예에서, 샘플링을 위한 밴드가 좁아짐에 따라 예상 성능이 향상되었다는 것은 이 대각선 BP 모델이 기본 태스크 할당 전략(예를 들어, FIFO)과 비교하여 태스크 할당 시스템의 성능을 최적화하거나 다른 방식으로 증가시키는 데 효과적일 수 있다는 지표이다.

일부 실시예들에서는, 임의의 많은 샘플들이 대각선으로부터의 다양한 거리들에서 측정될 수 있으며, 이 거리들은 전체 세트에서 시작하여 대각선으로부터 극히 작은 거리에서 끝난다.

밴드가 좁아짐에 따라, 대각선(모든 페어링에 대해 이상적인 최적의 선택을 갖는 피크 성능을 나타냄) 주위의 극히 작은 밴드에 더 가까이 접근할수록, 점점 더 많은 이력 태스크들이 대각선 BP 전략이 행해지지 않을 가능성이 있는 페어링들로서 제외된다(대각선에 더 가까운 선호하는 페어링들로부터 너무 멀리 있다). 이 효과는 도 4a 내지 도 4c에서 명백한데, 도 4a는 29개의 이력 할당(전체 세트)을 포함하고, 도 4b는 이력 할당들 중 21개를 샘플링하였고, 도 4c는 12개만을 샘플링하였다.

도 4d는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400D)의 개략도를 도시한다. 예상 성능 추정(400D)은 다양한 임계 적합 근접도들에 대한 예상 성능(예를 들어, 샘플 사이즈에 대한 바람직한 결과들의 비율)을 플롯으로 표시할 때의 상관 곡선을 도시한다. 상관 곡선은 좌측 상단 근처에서 시작하여 우측 하단을 향해 떨어지며, 이는 임계 적합 근접도가 선호하는 태스크 할당 전략을 향해 좁혀짐에 따라(예를 들어, 태스크들을 대각선에 가까이 있는 에이전트들과 페어링함에 따라) 샘플의 성능이 증가함을 나타낸다.

BP 태스크 할당 전략을 사용하는 현실 태스크 할당 시스템에서, 실제 태스크 할당들은 페어링 공간 전반에 걸쳐 발견될 수 있으며, 많은 페어링들이 최적의 대각선에 상대적으로 가까이 있고, 다른 페어링들은 최적의 대각선으로부터 상대적으로 멀리 있다. 다양한 임계 적합 근접도들에서의 할당들의 분포는 BP 태스크 할당 전략이 피크 성능을 얼마나 잘 달성하는지 추정하는 데 도움이 될 수 있다. 현실의 이러한 분포(예를 들어, BP "On" 데이터)를 예상 성능 추정(400D)과 비교하면 전반적인 예상 성능의 점점 더 정확한 추정을 허용할 수 있다. 일부 실시예들에서, 예상 성능은 다양한 적합 근접도 전역에서의 샘플들의 성능의 간단한 평균일 수 있다. 다른 실시예들에서, 예상 성능은 다양한 적합 근접도 전역에서의 샘플들의 성능의 가중화된 평균일 수 있으며, 태스크 할당 시스템이 선호하는 페어링 전략(예를 들어, BP 전략)을 사용하였을 때, "On" 데이터의 집합들에서 발견되는 페어링들의 분포에 따라 가중화될 수 있다. 다른 실시예들에서, 예상 성능 추정(400D)의 상관 곡선을 사용하여 태스크 할당 시스템에서 예상되는 성능 또는 이득을 추정하기 위한 다른 공식이 적용될 수 있다.

점점 더 좁아지는 샘플들로부터 점점 더 많은 이력 태스크들이 제외됨에 따라, 추정되는 이득을 결정하는 데 사용할 수 있는 데이터의 양이 감소하기 때문에, 추정의 정확도 또한 감소한다. 실제로, 충분히 좁은 일부 밴드에서는, 모든 이력 할당 데이터가 제외되어, 정의되지 않는 ("0/0") 예상 성능을 갖는 빈 샘플이 생성될 수 있다.

결과적으로, 일부 실시예들에서는, 테스트되는 각각의 밴드에 대한 예상 성능 추정치들의 예상 정확도(예를 들어, 표준 오차)를 계산하는 것이 유익할 수 있다. 이들 실시예들에서, 정확도 또는 오차 정보는 주어진 예상 성능 추정의 신뢰도를 평가하는 것을 돕는 데 사용 가능할 것이다.

상기와 같이, 이들 실시예들에서는, 밴드가 최적의 페어링이 존재하지 않을 때까지 점점 더 가까이 접근함에 따라, 임의의 많은 수의 추정들 및 정확도/오차 측정들이 점점 더 많은 이력 태스크들을 제외하면서 점점 더 좁아지는 밴드들을 통해 단계적으로 수행될 수 있다.

도 4a 내지 도 4c에 도시된 예는 단일 세트의 이력 데이터를 사용하였다. 일부 실시예들에서, 이 검증 프로세스는 임의의 많은 상이한 세트들의 이력 데이터에 대해 반복될 수 있다. 일부 실시예들에서, 하나 이상의 이력 할당 세트 각각은 페어링 전략을 생성하는 데 사용되는 "트레이닝 세트(training set)"와 전체적으로 또는 적어도 부분적으로 상이한 "홀드아웃 세트(holdout set)" 또는 "검증 세트(validation set)"일 수 있다. 다른 실시예들에서, 이력 할당 세트들 중 일부 또는 전부는 페어링 전략을 생성하는 데 사용된 것보다 더 큰 세트의 이력 할당들로부터 취해진 "인-샘플(in-sample)들"일 수 있다.

일부 실시예들에서, 홀드아웃 세트들 또는 인-샘플 세트들의 경우, 이들 샘플들은 오버샘플링되어, 이러한 오버샘플링 기술들이 보다 정확한 예상 성능 추정치들을 결정하는 데 유용한 상황들에서 단일 이력 할당을 다수의 샘플들에 걸쳐 여러 번 카운트할 수 있다. 단순한 예를 들자면, 홀드아웃 세트가 A-E로 라벨링된 5개의 이력 할당을 포함하는 경우, 제1 샘플은 이력 할당들 A, B 및 C를 포함할 수 있고, 제2 샘플은 이력 할당들 B, C 및 D를 포함할 수 있고, 제3 샘플은 이력 할당들 C, D 및 E를 포함할 수 있고, 기타 등등 마찬가지이다. 이 예에서, 이력 할당 B는 오버샘플링되어, 적어도 제1 및 제2 샘플에 포함된다. 좁아지는 임계 적합 근접도에 대해 오버샘플링할 때와 같은 다른 예에서, 제1(가장 큰) 샘플은 이력 할당들 A-E를 포함할 수 있고, 제2(더 작은) 샘플은 이력 할당들 B-D를 포함할 수 있으며, 이력 할당 B만을 포함할 수 있는 가장 작은 샘플까지 마찬가지이다.

본 개시내용의 실시예들은 k-폴드(k-fold), 랜덤, 시간, 랜덤 시간, 랜덤 롤링, 오프 데이터, 트레인 온/오프, 트레인 오프, 리프트 곡선 등과 같은 다양한 상이한 검증 기술들 중 하나 이상을 사용할 수 있다. 일부 실시예들에서, 검증 기술들은 또한 콜센터 시스템 환경에서의 시간-기반 변화들에 대한 정규화를 포함할 수 있다. 일반화된 K-폴드 검증 기술들 및 이들 다른 기술들 중 일부는 예를 들어, James 등의 An Introduction to Statistical Learning(2013)(pp. 29-33 및 176-86) 및 Hastie 등의 The Elements of Statistical Learning, 2d ed.(2008)(pp. 219-57)에 상세히 설명되어 있으며, 이들은 본 명세서에서 참조로 포함된다.

앞의 예에서, 기본 태스크 할당 전략은 FIFO이었을 수 있기 때문에, 가능한 페어링들의 공간 전반에 걸쳐 상대적으로 균일하게 분포된 이력 할당들을 생성하였다. 그러나, 일부 태스크 할당 시스템들에서는, 에이전트들 및/또는 태스크들에 활용 바이어스(utilization bias)를 도입하는 상이한 태스크 할당 전략이 사용될 수 있다. 도 4e 및 도 4f는 PBR에 의한 에이전트 활용의 예를 도시하고, 도 4g 및 도 4h는 태스크 우선순위화 전략(예를 들어, 콜센터에서의 우선순위화 또는 "VIP" 전화 라우팅)에 의한 태스크 활용 바이어스의 예를 도시한다.

도 4e는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400D)의 개략도를 도시한다. 이 예에서, 대부분의 이력 할당들은 백분위 순위들이 더 높은 에이전트들을 중심으로 그래프의 우측을 향해 클러스터링된다. 이 예에서, 에이전트 백분위 수는 에이전트 성과에 비례하며, 이 에이전트 활용 바이어스는 PBR을 이력 할당들에 대한 기본 페어링 전략으로서 사용한 것에 기인한다. 다른 실시예들 또는 컨택 센터 환경들에서, 백분위 수들은 성능 이외의 메트릭들에 대응할 수 있다. 예를 들어, 에이전트 백분위 수는 에이전트의 전체 성과(예를 들어, 발생된 수입액)에 관계없이 통화 결과에 영향을 주는 각각의 에이전트의 능력에 비례할 수 있다.

결과적으로, 하위 백분위 수의 에이전트들에 사용 가능한 데이터는 비례하여 적어진다. 따라서, 보정되지 않은 상태로 남겨두면, 이 바이어스는 도 4f를 참조하여 이하에서 설명되는 바와 같이 예상 성능 추정치들을 왜곡시키거나 편향시킬 수 있다.

도 4f는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400E)의 개략도를 도시한다. 예상 성능 추정(400E)은 예상 성능 추정(400D)과 동일한 이력 할당들을 도시하며, 대각선으로부터 멀리 있는 밴드 외부 영역들은 제외되었다.

포함된 이력 할당들의 서브세트 또한 편향된 분포를 가지며, 더 높은 순위의 에이전트들을 향해 왜곡되었다. 이 밴드의 예상 성능을 추정하는 순수한 접근법은 총 11개의 이력 에이전트 태스크 중 9개의 바람직한 결과들이 있다는 것에 주목하는 것일 것이다. 그러나, 이들 바람직한 결과들 중 많은 부분은 더 높은 성과를 내는 에이전트들을 중심으로 클러스터링되어, 비현실적으로 높은 예상 성능 추정치로 이어질 수 있다.

따라서, 일부 실시예들에서, 예상 성능은 주어진 슬라이스 내에서 발견되는 이력 할당들의 수에 비례하여 이력 할당들의 각각의 수직 슬라이스를 가중화함으로써 보다 정확하게 추정될 수 있다. 이러한 방식으로 이력 할당들의 서브세트를 재가중화함으로써(예를 들어, "에이전트 백분위 수 보정" 또는 "AP 보정") 기본 PBR 전략으로부터 바이어스를 제거하여, 예상 성능의 보다 정확한 추정치를 산출할 수 있다.

도 4g는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400F)의 개략도를 도시한다. 이 예에서, 대부분의 이력 할당들은 더 높은 백분위 순위들을 갖는 태스크들을 중심으로 그래프의 상단을 향해 클러스터링된다. 이 예에서, 이 태스크 활용 바이어스는 태스크 우선순위화 전략을 이력 할당들에 대한 기본 페어링 전략으로서 사용한 것에 기인한다.

결과적으로, 더 낮은 백분위 수들의 태스크들에 사용 가능한 데이터가 비례하여 적어진다. 따라서, 보정되지 않은 상태로 남겨두면, 이 바이어스 또한 도 4h를 참조하여 이하에서 설명되는 바와 같이 예상 성능 추정치들을 왜곡시키거나 편향시킬 수 있다.

도 4h는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400G)의 개략도를 도시한다. 예상 성능 추정(400G)은 예상 성능 추정(400F)과 동일한 이력 할당들을 도시하며, 대각선으로부터 멀리 있는 밴드 외부 영역들은 제외되었다.

포함된 이력 할당들의 서브세트 또한 편향된 분포를 가지며, 더 높은 순위의 태스크들을 향해 왜곡되었다. 이 밴드의 예상 성능을 추정하는 순수한 접근법은 총 11개의 이력 에이전트 태스크 중 9개의 바람직한 결과들이 있다는 것에 주목하는 것일 것이다. 그러나, 이들 바람직한 결과들 중 많은 부분은 더 높은 성과를 내는 에이전트들을 중심으로 클러스터링되어, 비현실적으로 높은 예상 성능 추정치로 이어질 수 있다.

따라서, 일부 실시예들에서, 예상 성능은 주어진 슬라이스 내에서 발견되는 이력 할당들의 수에 비례하여 이력 할당들의 각각의 수평 슬라이스를 가중화함으로써 보다 정확하게 추정될 수 있다. 이러한 방식으로 이력 할당들의 서브세트를 재가중화함으로써(예를 들어, "태스크 백분위 수 보정" 또는 "TP 보정", 또는 컨택 센터 컨텍스트에서는, "컨택 백분위 수 보정" 또는 "CP 보정") 기본 태스크/컨택 우선순위화 전략으로부터 바이어스를 제거하여, 예상 성능의 보다 정확한 추정치를 산출할 수 있다.

일부 실시예들에서는, 기본 태스크 할당 전략이 검증 중인 태스크 할당 전략에 비해 성능을 얼마나 잘(또는 얼마나 낮게) 최적화하는지를 측정하는 것이 유용할 수 있다. 도 4i 및 도 4j는 대각선 BP 페어링 전략들에 적용되는 하나의 그러한 기술의 예를 도시한다.

도 4i는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400H)의 개략도를 도시한다. x축은 "피크 성능의 실현"으로 라벨링되며, 원점 근처의 "높음"에서 우측의 "낮음"으로 진행된다. 대각선 BP 모델의 경우, 피크 성능의 높은 실현은 가상 피크 성능이 성취될 수 있는 이상적인 최적의 대각선에 상대적으로 가까운 이력 할당들을 샘플링하는 것을 나타낸다. 피크 성능의 낮은 실현은 대각선으로부터 멀리 확산되는 더 넓은 밴드에서 이력 할당들을 샘플링하는 것을 나타낸다.

y축은 "샘플 사이즈"로 라벨링되며, 원점 근처의 0에서 상부의 n(여기서는, n개의 이력 할당의 전체 세트의 사이즈)으로 진행된다. 대각선 BP 모델의 경우, 샘플 사이즈는 밴드 사이즈가 점점 좁아짐에 따라 줄어든다. 밴드 사이즈가 대각선을 따라 피크 성능에 접근함에 따라, 샘플 사이즈는 결국 0으로 떨어진다. 밴드 사이즈가 낮은 성능에 접근함에 따라, 샘플 사이즈는 결국 n에 도달하여, 이력 할당들의 전체 세트를 포함하게 된다.

기본 태스크 할당 전략이 FIFO였고, 이에 의해 이력 할당들이 각각의 밴드 전반에 걸쳐 상대적으로 균등하게 분포될 수 있는 경우, 밴드의 폭이 피크 성능을 향해 감소함에 따라, 샘플 사이즈가 밴드의 폭의 제곱에 비례하여 감소하는 경우가 종종 있을 수 있다. 이와 같이, FIFO는 태스크 할당 시스템 내에서 기준치 성능 레벨을 나타내는 중립적인 전략이다. 예상 성능 추정(400H)에서, 점선으로 된 곡선은 각각의 샘플 사이즈에 대한 이 기준치 성능을 나타낸다.

이 예에서, 실선 곡선은 점선으로 된 기준치 성능 곡선 "위로 휘어져서", 샘플 사이즈가 피크 성능의 상대적으로 높은 실현들에 대해 빠르게 증가하게 된다(상대적으로 좁은 밴드들). 이들 환경들에서, 이력 할당들은 대각선에 비례적으로 더 가까이 클러스터링된 것처럼 보일 수 있다. 이들 환경들에서, 이력 할당들을 생성한 기본 전략은, 검증되는 태스크 할당 전략과 비교할 때, 피크 성능의 상대적으로 높은 실현을 이미 성취하고 있을 수 있다. 따라서, 기본(기존) 전략에 대해 예상되는 이득은 FIFO와 비교하여 상대적으로 낮을 수 있다.

도 4j는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400I)의 개략도를 도시한다. 예상 성능 추정(400I)은 예상 성능 추정(400H)(도 4i)과 유사하되, 이 예에서는, 곡선이 점선으로 된 기준치 성능 곡선 "아래로 휘어져서", 샘플 사이즈가 피크 성능의 상대적으로 높은 실현들에 대해 느리게 증가하게 된다(상대적으로 좁은 밴드들). 이들 환경들에서, 이력 할당들은 대각선으로부터 비례적으로 더 먼 영역들에 클러스터링된 것처럼 보일 수 있다. 이들 환경들에서, 이력 할당들을 생성한 기본 전략은 FIFO보다 성능이 좋지 않을 수 있으며, 이는 랜덤보다 성능이 좋지 않은 전략과 수학적으로 등가일 수 있다. 따라서, 기본(기존) 전략에 대해 예상되는 이득은 FIFO와 비교하여 상대적으로 높을 수 있다.

일부 실시예들에서는, 어느 밴드 또는 범위의 밴드들이 "현실" 태스크 할당 시스템을 가장 잘 모델링하는지를 추정하거나 다른 방식으로 예측하는 것이 유용할 수 있다. 현실 태스크 할당 시스템에서, 태스크 할당 시스템은 대기 중인 태스크들의 요구사항을 충족시키는 데 사용 가능한 에이전트들의 공급이 지속적으로 변동함에 따라, 시간에 따라 변화하는 가능한 선택의 정도를 경험할 것이다. 현실의 선택 분포는 이상적인 최적의 선택(피크 성능)과 완전히 제약되는 제한된 선택(예를 들어, 항상 일대일 또는 "L0") 사이의 어딘가에서 피크에 달할 가능성이 있다.

도 4k는 검증되는 태스크 할당 전략의 추정되는 예상 성능의 현실적인 기대치들을 향상시키기 위해 기본 이력 할당 데이터에서 발견되는 선택의 자유도 분포를 시각화하는 기술을 예시한다.

도 4k는 본 개시내용의 실시예들에 따른 태스크 할당 전략의 예상 성능 추정(400J)의 개략도를 도시한다. 이들 실시예들에서는, 다양한 선택도의 분포 또는 빈도에 관한 정보가 이력 할당 정보와 연관될 수 있고, 밴드 또는 밴드들의 범위가 다른 밴드들/샘플들보다 더 가깝게 현실 태스크 할당 시스템을 모델링하도록 결정될 수 있다. 이 밴드 또는 밴드 범위를 식별하면, 이들 실시예들은 식별된 밴드 또는 밴드 범위에 대한 추정되는 예상 성능 및/또는 표준 오차를 가장 가능성 있는 예상 성능으로서 출력할 수 있다.

일부 실시예들에서는, 에이전트들 또는 태스크들을 각각 선택하기 위해 페어링 전략에 사용 가능한 평균 선택량을 증가시키도록 에이전트 채용을 증가시키거나 감소시키는 노동력 권고가 행해질 수 있다. 일부 실시예들에서, 사용 가능한 선택량이 너무 낮은 것으로 고려될 때에는, 페어링 전략이 페어링들을 지연시킬 수 있어, 더 많은 태스크들 및/또는 에이전트들이 페어링을 위해 준비될 시간을 허용한다.

이전 예들은 주로 대각선 BP 전략들을 논의하였다. 일부 실시예들에서는, 예상 성능이 네트워크 플로우 BP 전략과 같은 다른 타입들의 BP 전략들에 대해 추정될 수 있다.

도 5는 본 개시내용의 실시예들에 따른 태스크 할당 지불 매트릭스(500)의 개략도를 도시한다. 태스크 할당 모델(300A)(도 3a) 및 컨택 페어링 모델(300B)(도 3b)과 마찬가지로, 지불 매트릭스(500)는 3개의 에이전트(a₀-a₂) 및 3개의 태스크 타입(t₀-t₂)을 나타낸다. 각각의 셀은 주어진 에이전트 및 태스크 타입 할당에 대한 상호 작용 항 g(a_i, t_k)의 값을 포함한다.

이 예에서, 3개의 선호하는 페어링들은 1의 기대값을 갖고 대각선을 따라 배치되고, 다른 덜 선호되는 페어링들은 0.5 또는 0의 기대값을 갖는다. 컨택 페어링 모델(300B)(도 3b)의 예와 달리, 페어링들의 기대값들은 페어링들이 대각선으로부터 멀어짐에 따라 일관되게 감소하지 않는다. 예를 들어, 태스크 t₁ 대 에이전트 a₂의 페어링(0의 기대값)은 태스크 t₂ 대 에이전트 a₂의 페어링(0.5의 기대값)보다 대각선에 더 가깝다.

일부 실시예들에서, 대각선 페어링 전략은 태스크 할당 지불 매트릭스(500)의 매우 단순화된 예시적인 예와 같은 환경들에 대해서도 현저한 성능 향상 및 균형잡힌 에이전트 활용을 여전히 제공할 수 있다. 다른 실시예들에서는, 예를 들어, 페어링의 대각선까지의 거리가 더 짧아짐에 따라(즉, 적합 근접도가 더 가까워짐에 따라), 에이전트들 및 태스크들의 정렬이 기대값들의 일관된 증가를 제공하지 않는 태스크 할당 지불 매트릭스(500)와 유사한 환경들에 대해서도, 네트워크 플로우(또는 선형 프로그래밍) 기반 BP 전략과 같은 상이한 페어링 전략이 더 큰 성능 최적화를 제공하면서도, 여전히 에이전트 활용의 바람직한 균형을 달성할 수 있다. 태스크 할당 지불 매트릭스(500)는, 예를 들어, 본 명세서에 이미 참조로 포함된 미국 특허 출원 제15/582,223호에 설명된 바와 같이 네트워크 플로우 BP 전략과 관련하여 사용될 수 있다.

대각선 BP 전략에서와 같이, 네트워크 플로우 BP 전략도 이력 할당 데이터를 사용하여 검증될 수 있다. 그러나, 대각선 BP 전략에서의 대각선으로부터의 거리와 같은 네트워크 플로우 BP 전략을 위한 기하학적 유사성이 없기 때문에, 이들 검증 기술들은 도 4a 내지 도 4h에서와 같이 도면들에 용이하게 예시되어 있지 않다. 일부 실시예들에서, 이력 할당들은 이상적 또는 최적의 선택량이 주어진 네트워크 플로우 BP 전략의 피크 성능에 대한 하나 이상의 근사치에서 반복적으로 샘플링(또는 오버샘플링)될 수 있다. 예를 들어, 이력 할당 샘플들의 사이즈 3(또는 4 이상)이 결정될 수 있다.

예를 들어, 이력 할당들의 샘플은 바람직한 결과를 갖는 a₀ 대 t₂의 선호하는 페어링, 바람직한 결과를 갖는 a₁ 대 t₁의 비선호 페어링, 및 바람직하지 않은 결과를 갖는 a₂ 대 t₀의 비선호 페어링을 포함할 수 있다. 이 샘플의 기본 성능은 샘플에서 바람직한 결과들의 비율 또는

로 결정될 수 있다.

샘플 사이즈 3에서와 같이 세 가지 선택이 주어지면, 네트워크 플로우(500B)에 따라 비선호 페어링들이 제외될 수 있다. 결과적으로, 바람직한 결과를 갖는 하나의 이력 할당 a₁ 대 t₁만이 샘플 내에 있거나,

이다.

이들 실시예들에서, 임의의 하나의 샘플에서 사용 가능한 데이터의 양은 전체 세트에서 발견될 수 있는 수십 또는 수천 개의 이력 할당과는 대조적으로 매우 제약된다(예를 들어, 단지 3개의 이력 할당들). 따라서, 선호되는 페어링들의 빈도들 및 바람직한 결과들을 갖는 것들의 가중화 비율들을 결정하기 위해 이력 할당들을 반복적으로 샘플링하는 것이 특히 중요할 수 있다.

대각선 BP 전략에서와 같이, 기본 전략이 이미 부분적으로 최적화되어 있는지 여부를 결정하고/하거나 이력 할당 데이터에서 에이전트들 및/또는 태스크들의 과다 표현(overrepresentation) 또는 바이어스를 보정하는 것이 유용할 수 있다.

기술들은 생성되고 검증되는 태스크 할당 전략의 타입(예를 들어, 네트워크 플로우 BP 전략 검증 기술들과 비교되는 대각선 BP 전략 검증 기술들)에 따라 세부 사항들이 변동되지만, 이들 기술들은 이력 할당 데이터의 샘플링 또는 가중화를 수반할 수 있다. 일부 실시예들에서, 이들 기술들은 반복 샘플링, 오버샘플링, 바이어스 보정, 피크 성능 또는 최적의 선택을 향한 근사, 예상 성능 추정, 예상 이득 추정(기본 이력 성능과의 비교들), 정확도/오차 측정들, 예상되는 현실 이득 추정(예를 들어, 사용 가능한 선택의 기본 분포에 대한 비교들) 등을 포함할 수 있다. 도 6a 내지 도 9는 위에서 설명된 다양한 예상 성능 추정 방법들에 대한 흐름도들을 도시한다.

도 6a는 본 개시내용의 실시예들에 따른 예상 성능 추정 방법(600A)의 흐름도를 도시한다. 블록(610)에서, 예상 성능 추정 방법(600A)이 시작될 수 있다.

블록(610)에서, 복수의 이력 할당들이 수신될 수 있다. 일부 실시예들에서, 복수의 이력 할당들은 이력 할당 모듈(150)(도 1)과 같은 이력 할당 모듈 또는 이력 컨택 페어링 모듈(250)(도 2)로부터 수신될 수 있다. 일부 실시예들에서, 복수의 이력 할당들은 태스크 할당(페어링) 모델 또는 태스크 할당(페어링) 전략을 구축, 생성, 구성, 트레이닝, 정제 또는 다른 방식으로 결정하는 데에도 사용되었던 복수의 이력 할당들의 인-샘플일 수 있다. 다른 실시예들에서, 복수의 이력 할당들은 모델 구축에 사용되지 않은 이력 할당들을 포함하는 아웃-샘플(out-sample)(홀드아웃 세트, 검증 세트 등)일 수 있다. 복수의 이력 할당들을 수신한 후, 예상 성능 추정방법(600A)은 블록(620A)으로 진행할 수 있다.

블록(620A)에서, 에이전트들과 태스크들을 페어링하기 위한 전략에 기초하여 복수의 이력 할당들의 샘플이 결정될 수 있다. 일부 실시예들에서, 샘플은 예상 성능 추정 모듈(160)(도 1 및 도 2)과 같은 예상 성능 추정 모듈에 의해 결정될 수 있다. 일부 실시예들에서, 샘플은 복수의 이력 할당들을 분석하여, 태스크 할당 전략을 사용하여 발생할 가능성이 충분히 있는 이력 할당들은 샘플에 포함하고 발생할 가능성이 충분히 거의 없는 이력 할당들은 샘플로부터 제외함으로써 결정될 수 있다. 예를 들어, 대각선 BP 전략의 경우, 밴드 내 또는 대각선으로부터 특정 거리 내에 있는 페어링들을 포함한다. 페어링 전략에 기초하여 복수의 이력 할당들의 샘플을 결정한 후, 예상 성능 추정 방법(600A)은 블록(630A)으로 진행할 수 있다.

블록(630A)에서, 샘플에 기초하여 페어링 전략의 예상 성능이 결정될 수 있다. 일부 실시예들에서, 예상 성능의 결정 또는 추정은 샘플 내의 이력 페어링들의 총 수에 대한 바람직한 결과들(예를 들어, 이항 변수들에 대한 양의 결과들, 또는 다항 또는 연속 변수들에 대한 충분한 양의 결과들)의 비율로서 계산될 수 있다. 다른 실시예들에서, 예상 성능 추정은, (예를 들어, PBR 하에서의) 에이전트들의 서브세트의 과다 표현 또는 (예를 들어, 태스크 우선순위화 전략 하에서의) 태스크 타입들의 서브세트의 과다 표현과 같이 기본 이력 할당 데이터에 존재할 수 있는 바이어스에 대해 고려하도록 보정되거나 다른 방식으로 조정될 수 있다. 일부 실시예들에서, 예상 성능 추정은 이력 할당들 중 일부가 오버샘플링될 수 있는(예를 들어, 샘플 결정 기술에 따라 동일한 샘플 내에서 여러 번 카운트될 수 있는) 빈도들에 대해 고려할 수 있다. 페어링 전략의 예상 성능을 결정한 후, 예상 성능 추정 방법(600A)은 블록(640)으로 진행할 수 있다.

블록(640)에서, 결정되거나 추정된 예상 성능이 출력될 수 있다. 일부 실시예들에서, 예상 성능 추정 모듈(160)은 태스크 할당 모듈(110)(도 1), 스위치(210)(도 2), 또는 태스크 할당 시스템 내의, 다르게는 태스크 할당 시스템에 통신 가능하게 연결된 다른 컴포넌트 또는 모듈에 추정되는 예상 성능을 출력할 수 있다.

일부 실시예들에서, 블록(630)에서 결정된 추정된 예상 성능을 출력한 후, 예상 성능 추정 방법(600A)은 블록(620)으로 리턴하여 상이한 샘플을 결정할 수 있다. 다른 실시예들에서, 예상 성능 추정 방법(600A)은 블록(610)으로 리턴하여 상이한 복수의 이력 할당들(예를 들어, 상이한 인-샘플 또는 상이한 홀드아웃 세트)을 수신할 수 있다. 다른 실시예들에서, 예상 성능 추정 방법(600A)은 종료될 수 있다.

도 6b는 본 개시내용의 실시예들에 따른 예상 성능 추정 방법(600B)의 흐름도를 도시한다. 예상 성능 추정 방법(600B)은 이력 할당들이 샘플에 포함되거나 샘플에서 제외되는 대신에 가중될 수 있다는 점을 제외하고는 예상 성능 추정 방법(600A)과 유사하다.

예상 성능 추정 방법(600B)은 블록(610)에서 시작될 수 있다. 블록(610)에서, 예상 성능 추정 방법(600A)에서와 같이 복수의 이력 할당들이 수신될 수 있다. 복수의 이력 할당들을 수신한 후, 예상 성능 추정 방법(600B)은 블록(620B)으로 진행할 수 있다.

블록(620B)에서, 에이전트들과 태스크들을 페어링하기 위한 전략에 기초하여 복수의 이력 할당들 중 적어도 하나에 대한 가중치가 결정될 수 있다. 일부 실시예들에서, 가중치는 블록(610)에서 수신된 모든 이력 할당들에 할당될 수 있다. 일부 실시예들에서는, 0의 가중치가 이력 할당들 중 일부에 할당될 수 있다. 이들 실시예들에서, 0의 가중치는 예상 성능 추정 방법(600A)의 블록(620A)(도 6a)에서와 같이 샘플로부터 이력 페어링을 제외하는 것과 유사할 수 있다. 일부 실시예들에서, 가중치는 검증되는 페어링 전략 하에서 이력 할당이 발생했을 가능성을 나타낼 수 있다. 복수의 이력 할당들 중 적어도 하나에 대한 가중치를 결정한 후, 예상 성능 추정 방법(600B)은 블록(630B)으로 진행할 수 있다.

블록(630B)에서, 가중치에 기초하여 전략의 예상 성능이 결정될 수 있다. 예를 들어, 예상 성능은 가중화된 이력 할당들 각각과 연관된 값의 가중화된 평균으로서 계산될 수 있다. 예상 성능 추정 방법(600A)의 블록(630A)에서와 같이, 예상 성능 추정은 기본 이력 할당 데이터의 바이어스를 보정하는 것과 같이 다양한 실시예들 및 상황들에서 조정될 수 있다. 예상 성능을 결정한 후, 예상 성능 추정 방법(600B)은 블록(640)으로 진행할 수 있다.

블록(640)에서, 예상 성능은 예상 성능 추정 방법(600A)에서와 같이 출력될 수 있다. 다양한 실시예들에서, 예상 성능 추정 방법(600B)은 다음의 복수의 이력 할당들을 위해 블록(610)으로, 또는 다음 가중치 결정을 위해 블록(620B)으로 리턴할 수도 있고, 또는 예상 성능 추정 방법(600B)이 종료될 수도 있다.

도 7은 본 개시내용의 실시예들에 따른 예상 성능 추정 방법(700)의 흐름도를 도시한다. 예상 성능 추정 방법(700)은 블록(710)에서 시작될 수 있다.

블록(710)에서, 복수의 이력 할당들이 수신될 수 있다. 복수의 이력 할당들을 수신한 후, 예상 성능 추정 방법(700)은 블록(720)으로 진행할 수 있다.

블록(720)에서, 복수의 이력 할당들은 트레이닝 서브세트 및 검증 서브세트(홀드아웃 서브세트, 아웃-샘플)로 분할될 수 있다. 복수의 이력 할당들을 분할한 후, 예상 성능 추정 방법(700)은 블록(730)으로 진행할 수 있다.

블록(730)에서, 트레이닝 서브세트에 기초하여 페어링 전략이 생성될 수 있다. 예를 들어, 이력 할당들은 태스크 할당 시스템 내에서 자동으로 패턴들을 식별하는 데 사용될 수 있고, 이력 할당들은 페어링 모델 또는 지불 매트릭스에 대한 값들/비용들을 계산하는 데 사용될 수 있다. 페어링 전략을 생성한 후, 예상 성능 추정 방법(700)은 블록(740)으로 진행할 수 있다.

블록(740)에서, 페어링 전략의 예상 성능은 검증 서브세트에 기초하여 결정될 수 있다. 일부 실시예들에서, 예상 성능은 예상 성능 추정 방법들(600A 및 600B)(예를 들어, 샘플 또는 검증 세트의 가중치들을 각각 결정하는 것; 샘플 또는 가중치들에 기초하여 예상 성능을 각각 결정하는 것, 일부 실시예들에서는 이력 할당 데이터를 반복적으로 샘플링하거나 가중화하는 것)과 같이 본 명세서에서 설명된 검증 기술들 중 임의의 것을 사용하여 결정될 수 있다. 페어링 전략의 예상 성능을 결정한 후, 예상 성능 추정 방법(700)은 블록(750)으로 진행할 수 있다.

블록(750)에서, 예상 성능이 출력될 수 있다. 예상 성능을 출력한 후, 일부 실시예들은 블록(720)으로 리턴하여 다음 검증 세트를 획득하거나, 또는 블록(740)으로 리턴하여 검증 서브세트에 기초하여 다음의 예상 성능을 결정할 수 있다. 다른 실시예들에서, 예상 성능 추정 방법(700)은 종료될 수 있다.

도 8은 본 개시내용의 실시예들에 따른 예상 성능 추정 방법(800)의 흐름도를 도시한다. 예상 성능 추정 방법(800)은 다수의 검증 세트들에 대해 블록들의 일부를 반복할 수 있는 실시예들을 명시적으로 기술한다는 점을 제외하고는 예상 성능 추정 방법(700)(도 7)과 유사하다. 블록(810)에서, 예상 성능 추정 방법(800)이 시작될 수 있다.

블록(810)에서, 복수의 이력 할당들이 수신될 수 있다. 복수의 이력 할당들을 수신한 후, 예상 성능 추정 방법(800)은 블록(820)으로 진행할 수 있다. 블록(820)에서, 복수의 이력 할당들은 트레이닝 서브세트 및 검증 서브세트로 분할될 수 있다. 복수의 이력 할당들을 분할한 후, 예상 성능 추정 방법(800)은 블록(830)으로 진행할 수 있다. 블록(830)에서, 검증 세트에 기초하여 페어링 전략의 예상 성능이 결정될 수 있다. 예상 성능을 결정한 후, 예상 성능 추정 방법(800)은 블록(840)으로 진행할 수 있다.

블록(840)에서, 다음 검증 서브세트에 대해 방법의 일부를 반복할지 여부에 관한 결정이 이루어질 수 있다. 예인 경우, 예상 성능 추정 방법(800)은 예를들어, 블록(820)으로 리턴하여 다음 검증 서브세트 및/또는 다음 트레이닝 서브세트를 분할하고, 블록(830)으로 리턴하여 다음 검증 서브세트에 기초하여 예상 성능을 결정할 수 있다. 아니오인 경우, 예상 성능 추정 방법(800)은 블록(850)으로 진행할 수 있다.

블록(850)에서, 복수의 검증 서브세트들 중 적어도 2개에 대한 결합된 예상 성능들(예를 들어, 평균 예상 성능 또는 가중화된 평균 예상 성능)이 출력될 수 있다. 결합된 예상 성능들을 출력한 후, 예상 성능 추정 방법(800)은 종료될 수 있다.

도 9는 본 개시내용의 실시예들에 따른 예상 성능 추정 방법(900)의 흐름도를 도시한다. 예상 성능 추정 방법(900)은, 이상적인 피크 전략의 증가하는 근사치들(예를 들어, 대각선 BP 전략의 경우에는 점진적으로 좁아지는 밴드들, 또는 네트워크 플로우 BP 전략의 경우에는 점진적으로 증가하는 샘플 사이즈들)에 대한 예상 성능을 추정하기 위해 샘플들이 반복적으로 결정되는 도 4a 내지 도 4h, 도 5a 및 도 5b를 참조하여 설명된 프로세스와 유사하다. 블록(910)에서, 예상 성능 추정 방법(900)이 시작될 수 있다.

블록(910)에서, 복수의 이력 할당들이 수신될 수 있다. 복수의 이력 할당들을 수신한 후, 예상 성능 추정 방법(900)은 블록(920)으로 진행할 수 있다.

블록(920)에서, 복수의 이력 할당들의 샘플이 페어링 전략의 피크 성능에 대한 실현도(degree of realization)(예를 들어, 대각선 BP 전략의 경우에는 특정 밴드 사이즈 또는 대각선으로부터의 거리, 또는 네트워크 플로우 BP 전략의 경우에는 특정 샘플 사이즈)에 기초하여 결정될 수 있다. 샘플을 결정한 후, 예상 성능 추정 방법(900)은 블록(930)으로 진행할 수 있다.

블록(930)에서, 위에서 설명된 기술들 중 임의의 것을 사용하여, 샘플에 기초하여 페어링 전략의 예상 성능이 결정될 수 있다. 예상 성능을 결정한 후, 예상 성능 추정 방법(900)은 블록(940)으로 진행할 수 있다.

블록(940)에서, 다음 실현도를 위해 반복할지의 여부에 대한 결정이 이루어질 수 있다. 예인 경우, 예상 성능 추정 방법(900)은 블록(920)으로 리턴하여 다음 실현도(예를 들어, 대각선 BP 전략의 더 좁은 밴드, 또는 네트워크 플로우 BP 전략의 더 큰 샘플 사이즈)에 기초하여 다음 샘플을 결정할 수 있고, 블록(930)으로 진행하여 이 다음 샘플 및 다음 실현도에 기초하여 다른 예상 성능을 결정할 수 있다. 아니오인 경우, 예상 성능 추정 방법(900)은 블록(950)으로 진행할 수 있다.

블록(950)에서, 복수의 샘플들에 기초한 예상 성능 및 피크 성능에 대한 예상 실현도가 출력될 수 있다. 예를 들어, x축 상의 각각의 실현도에 대해 y축을 따라 추정되는 예상 성능의 플롯을 표시하는 차트가 제공될 수 있다. 다른 실시예들에서, 예상 성능 추정치들은 결합될 수 있다(예를 들어, 평균 또는 가중화된 평균). 다른 실시예들에서, 피크 성능의 "현실적인" 실현에 대한 결정이 추정될 수 있고, 현실적인 실현도에서의 예상 성능이 출력될 수 있다. 예상 성능을 출력한 후, 예상 성능 추정 방법(900)은 종료될 수 있다.

이 시점에서, 위에서 설명된 바와 같이 본 개시내용에 따라 태스크 할당 시스템에서 예상 성능을 추정하는 것은 입력 데이터의 프로세싱 및 출력 데이터의 생성을 어느 정도 포함할 수 있다는 것에 주목하도록 한다. 이 입력 데이터 프로세싱 및 출력 데이터 생성은 하드웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 특정 전자 컴포넌트들이 예상 성능 추정 모듈, 또는 위에서 설명된 본 개시내용에 따라 태스크 할당 시스템에서 예상 성능을 추정하는 것과 연관된 기능들을 구현하기 위한 유사하거나 관련된 회로에서 채택될 수 있다. 대안적으로, 명령어들에 따라 동작하는 하나 이상의 프로세서는 위에서 설명된 바와 같이 본 개시내용에 따라 태스크 할당 시스템에서 예상 성능을 추정하는 것과 연관된 기능들을 구현할 수 있다. 그러한 경우라면, 그러한 명령어들이 하나 이상의 비일시적인 프로세서 판독 가능 저장 매체(예를 들어, 자기 디스크 또는 다른 저장 매체) 상에 저장되거나, 또는 하나 이상의 반송파로 구현되는 하나 이상의 신호를 통해 하나 이상의 프로세서로 송신될 수 있는 것은 본 개시내용의 범위 내에 있다.

본 개시내용은 본 명세서에 설명된 특정 실시예들에 의해 범위가 한정되지 않는다. 실제로, 본 명세서에 설명된 것들 이외에, 본 개시내용의 다른 다양한 실시예들 및 본 개시내용에 대한 수정들은 상기 설명 및 첨부 도면들로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 따라서, 이러한 다른 실시예들 및 수정들은 본 개시내용의 범주 내에 속하는 것으로 의도된다. 또한, 본 개시내용은 본 명세서에서 적어도 하나의 특정 목적을 위해 적어도 하나의 특정 환경에서 적어도 하나의 특정 구현과 관련하여 설명되었지만, 본 기술분야의 통상의 기술자는 그 유용성이 이에 제한되지 않고, 본 개시내용이 임의의 수의 목적을 위해 임의의 수의 환경들에서 유리하게 구현될 수 있다는 것을 인식할 것이다. 따라서, 이하에서 기술되는 청구범위는 본 명세서에 기재된 본 개시내용의 전체 범위 및 사상을 고려하여 해석되어야 한다.

Claims

방법으로서,
태스크 할당 시스템에 통신 가능하게 연결된(coupled) 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들을 수신하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 에이전트들을 태스크들과 페어링하기 위한 전략에 기초하여 상기 복수의 이력 에이전트 태스크 할당들의 샘플을 결정하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 샘플에 기초하여 상기 전략의 예상 성능을 결정하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능을 출력하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능에 기초하여 상기 태스크 할당 시스템의 성능을 최적화하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 태스크 할당 시스템은 컨택 센터(contact center)이고, 상기 전략은 컨택들을 컨택 센터 에이전트들에 할당하는 방법.
제1항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 복수의 이력 에이전트 태스크 할당들 중 적어도 하나의 중첩되는 이력 에이전트 태스크 할당을 포함하는 복수의 샘플들을 결정함으로써, 상기 복수의 이력 에이전트 태스크 할당들을 오버샘플링하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 샘플에서 바이어스를 결정하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능에서 상기 바이어스에 대해 고려하는 단계
를 추가로 포함하는 방법.
제4항에 있어서, 상기 바이어스는 상기 샘플 내의 에이전트들의 서브세트의 과다 표현(overrepresentation) 또는 상기 샘플 내의 태스크 타입들의 서브세트의 과다 표현에 기인하는 방법.
제1항에 있어서, 상기 예상 성능을 결정하는 단계는,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 복수의 이력 에이전트 태스크 할당들의 복수의 샘플들을 결정하는 단계를 포함하는 방법.
제1항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 복수의 이력 에이전트 태스크 할당들을 이력 에이전트 태스크 할당들의 제1 서브세트, 및 상기 제1 서브세트와 상이한 이력 에이전트 태스크 할당들의 홀드아웃(holdout) 서브세트로 분할하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제1 서브세트에 기초하여 상기 전략을 생성하는 단계
를 추가로 포함하고,
상기 샘플은 상기 홀드아웃 서브세트의 서브세트이고,
상기 예상 성능을 결정하는 단계는 상기 홀드아웃 서브세트에 기초하는 방법.
제7항에 있어서,
상기 전략과 상이한 에이전트들을 태스크들과 페어링하기 위한 제2 전략에 기인하여 상기 홀드아웃 서브세트에서 이력 에이전트 태스크 할당들을 과다 표현하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 예상 성능을 결정하는 단계는 복수의 홀드아웃 서브세트들에 기초하는 방법.
제9항에 있어서, 상기 복수의 홀드아웃 서브세트들에 기초하여 상기 예상 성능과 연관된 표준 오차를 결정하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 샘플은 상기 샘플의 예상 성능과 상기 전략의 피크 성능 간의 성능차의 양과 연관되는 방법.
방법으로서,
태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해, 복수의 이력 에이전트 태스크 할당들을 수신하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 에이전트들을 태스크들과 페어링하기 위한 전략에 기초하여 상기 복수의 이력 에이전트 태스크 할당들 중 적어도 하나에 대한 가중치를 결정하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 가중치에 기초하여 상기 전략의 예상 성능을 결정하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능을 출력하는 단계 - 상기 전략의 예상 성능은 태스크 할당 시스템이 상기 전략을 사용하도록 구성되는 경우에 상기 태스크 할당 시스템의 성능이 최적화될 수 있음을 시연함 -
를 포함하는 방법.
제12항에 있어서, 상기 태스크 할당 시스템은 컨택 센터이고, 상기 전략은 컨택들을 컨택 센터 에이전트들에 할당하는 방법.
제12항에 있어서, 적어도 하나의 가중치는 0 또는 엡실론(epsilon)인 방법.
제12항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 샘플에서 바이어스를 결정하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능에서 상기 바이어스에 대해 고려하는 단계
를 추가로 포함하는 방법.
제15항에 있어서, 상기 바이어스는 에이전트들의 서브세트의 과다 가중치(overweighting) 또는 태스크 타입들의 서브세트의 과다 가중치에 기인하는 방법.
제12항에 있어서, 상기 예상 성능을 결정하는 단계는 상기 샘플 내의 적어도 2개의 가중화된 페어링에 대응하는 적어도 2개의 가중화된 결과를 결합하는(combining) 단계를 포함하는 방법.
시스템으로서,
태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서
를 포함하고, 상기 적어도 하나의 컴퓨터 프로세서는,
복수의 이력 에이전트 태스크 할당들을 수신하고,
에이전트들을 태스크들과 페어링하기 위한 전략에 기초하여 상기 복수의 이력 에이전트 태스크 할당들의 샘플을 결정하고,
상기 샘플에 기초하여 상기 전략의 예상 성능을 결정하고,
상기 예상 성능을 출력하고,
상기 예상 성능에 기초하여 상기 태스크 할당 시스템의 성능을 최적화하도록
구성되는 시스템.
제18항에 있어서, 상기 태스크 할당 시스템은 컨택 센터이고, 상기 전략은 컨택들을 컨택 센터 에이전트들에 할당하는 시스템.
제18항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 복수의 이력 에이전트 태스크 할당들 중 적어도 하나의 중첩되는 이력 에이전트 태스크 할당을 포함하는 복수의 샘플들을 결정함으로써, 상기 복수의 이력 에이전트 태스크 할당들을 오버샘플링하도록 구성되는 시스템.
제18항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 샘플에서 바이어스를 결정하고,
상기 예상 성능에서 상기 바이어스에 대해 고려하도록
구성되는 시스템.
제21항에 있어서, 상기 바이어스는 상기 샘플 내의 에이전트들의 서브세트의 과다 표현 또는 상기 샘플 내의 태스크 타입들의 서브세트의 과다 표현에 기인하는 시스템.
제18항에 있어서, 상기 예상 성능을 결정하는 것은 상기 복수의 이력 에이전트 태스크 할당들의 복수의 샘플들을 결정하는 것을 포함하는 시스템.
제18항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 복수의 이력 에이전트 태스크 할당들을 이력 에이전트 태스크 할당들의 제1 서브세트, 및 상기 제1 서브세트와 상이한 이력 에이전트 태스크 할당들의 홀드아웃 서브세트로 분할하고,
상기 제1 서브세트에 기초하여 상기 전략을 생성하도록
구성되고,
상기 샘플은 상기 홀드아웃 서브세트의 서브세트이고,
상기 예상 성능을 결정하는 것은 상기 홀드아웃 서브세트에 기초하는 시스템.
제조물로서,
비일시적인 프로세서 판독 가능 매체; 및
상기 매체 상에 저장된 명령어들
을 포함하고,
상기 명령어들은 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해 상기 매체로부터 판독 가능하도록 구성되고, 이에 의해, 상기 적어도 하나의 컴퓨터 프로세서로 하여금,
복수의 이력 에이전트 태스크 할당들을 수신하고,
에이전트들을 태스크들과 페어링하기 위한 전략에 기초하여 상기 복수의 이력 에이전트 태스크 할당들의 샘플을 결정하고,
상기 샘플에 기초하여 상기 전략의 예상 성능을 결정하고,
상기 예상 성능을 출력하고,
상기 예상 성능에 기초하여 상기 태스크 할당 시스템의 성능을 최적화하도록
동작하게 하는 제조물.
제25항에 있어서, 상기 태스크 할당 시스템은 컨택 센터이고, 상기 전략은 컨택들을 컨택 센터 에이전트들에 할당하는 제조물.
제25항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 복수의 이력 에이전트 태스크 할당들 중 적어도 하나의 중첩되는 이력 에이전트 태스크 할당을 포함하는 복수의 샘플들을 결정함으로써, 상기 복수의 이력 에이전트 태스크 할당들을 오버샘플링하도록 동작하게 되는 제조물.
제25항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 샘플에서 바이어스를 결정하고,
상기 예상 성능에서 상기 바이어스에 대해 고려하도록
동작하게 되는 제조물.
제28항에 있어서, 상기 바이어스는 상기 샘플 내의 에이전트들의 서브세트의 과다 표현 또는 상기 샘플 내의 태스크 타입들의 서브세트의 과다 표현에 기인하는 제조물.
제25항에 있어서, 상기 예상 성능을 결정하는 것은 상기 복수의 이력 에이전트 태스크 할당들의 복수의 샘플들을 결정하는 것을 포함하는 제조물.
방법으로서,
태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해, 제1 복수의 이력 에이전트 태스크 할당들을 수신하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 선호하는 태스크 할당 전략에 대해 상기 복수의 이력 에이전트 태스크 할당들 각각에 대한 적합 근접도(closeness of fit)를 결정하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 선호하는 태스크 할당 전략에 대한 임계 적합 근접도를 결정하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 임계 적합 근접도 내에 있는 상기 제1 복수의 이력 에이전트 태스크 할당들의 서브세트에 기초하여 예상 성능을 결정하는 단계;
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능을 출력하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 예상 성능에 기초하여 상기 태스크 할당 시스템의 성능을 최적화하는 단계
를 포함하는 방법.
제31항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 선호하는 태스크 할당 전략에 대한 적합 근접도의 복수의 임계치들을 결정하는 단계를 추가로 포함하는 방법.
제32항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 선호하는 태스크 할당 전략의 성취도(degree of achievement)들의 변화에 대한 상기 선호하는 태스크 할당 전략의 성능의 상관을 결정하는 단계를 추가로 포함하는 방법.
제33항에 있어서, 상기 예상 성능은 또한 상기 성능의 상관에 기초하는 방법.
제34항에 있어서,
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 선호하는 태스크 할당 전략을 사용하여 생성된 제2 복수의 이력 에이전트 태스크 할당들을 수신하는 단계; 및
상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제2 복수의 이력 에이전트 태스크 할당들에 기초하여 상기 성능의 상관을 분석하는 단계
를 추가로 포함하는 방법.
제35항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들은 상기 제1 복수의 이력 에이전트 태스크 할당들의 제1 날짜 범위와 상이한 제2 날짜 범위를 커버하는 방법.
제35항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들 각각은 상기 선호하는 태스크 할당 전략을 사용하여 쌍을 이루고, 상기 제1 복수의 이력 에이전트 태스크 할당들 각각은 상이한 태스크 할당 전략을 사용하여 쌍을 이루는 방법.
제35항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들은 상기 제1 복수의 이력 에이전트 태스크 할당들로부터의 이력 에이전트 태스크 할당들 중 일부를 포함하는 방법.
제35항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들 각각은 상기 제1 복수의 이력 에이전트 태스크 할당들 각각과 상이한 방법.
제31항에 있어서, 상기 태스크 할당 시스템은 컨택 센터이고, 상기 선호하는 태스크 할당 전략은 컨택들을 컨택 센터 에이전트들에 할당하는 방법.
제31항에 있어서, 상기 복수의 이력 에이전트 태스크 할당들은 이력 에이전트 태스크 할당들의 상위세트(superset)의 홀드아웃 세트인 방법.
제31항에 있어서, 상기 임계 적합 근접도 내에 있는 상기 복수의 이력 에이전트 태스크 할당들의 서브세트는 상기 홀드아웃 세트의 샘플인 방법.
시스템으로서,
태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서
를 포함하고, 상기 적어도 하나의 컴퓨터 프로세서는,
제1 복수의 이력 에이전트 태스크 할당들을 수신하고,
선호하는 태스크 할당 전략에 대해 상기 복수의 이력 에이전트 태스크 할당들 각각에 대한 적합 근접도를 결정하고,
상기 선호하는 태스크 할당 전략에 대한 임계 적합 근접도를 결정하고,
상기 임계 적합 근접도 내에 있는 상기 제1 복수의 이력 에이전트 태스크 할당들의 서브세트에 기초하여 예상 성능을 결정하고,
상기 예상 성능을 출력하고,
상기 예상 성능에 기초하여 상기 태스크 할당 시스템의 성능을 최적화하도록
구성되는 시스템.
제43항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 선호하는 태스크 할당 전략에 대한 적합 근접도의 복수의 임계치들을 결정하도록 구성되는 시스템.
제44항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 선호하는 태스크 할당 전략의 성취도들의 변화에 대한 상기 선호하는 태스크 할당 전략의 성능의 상관을 결정하도록 구성되는 시스템.
제45항에 있어서, 상기 예상 성능은 또한 상기 성능의 상관에 기초하는 시스템.
제46항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 선호하는 태스크 할당 전략을 사용하여 생성된 제2 복수의 이력 에이전트 태스크 할당들을 수신하고,
상기 제2 복수의 이력 에이전트 태스크 할당들에 기초하여 상기 성능의 상관을 분석하도록
구성되는 시스템.
제47항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들은 상기 제1 복수의 이력 에이전트 태스크 할당들의 제1 날짜 범위와 상이한 제2 날짜 범위를 커버하는 시스템.
제47항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들 각각은 상기 선호하는 태스크 할당 전략을 사용하여 쌍을 이루고, 상기 제1 복수의 이력 에이전트 태스크 할당들 각각은 상이한 태스크 할당 전략을 사용하여 쌍을 이루는 시스템.
제47항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들은 상기 제1 복수의 이력 에이전트 태스크 할당들로부터의 이력 에이전트 태스크 할당들 중 일부를 포함하는 시스템.
제47항에 있어서, 상기 제2 복수의 이력 에이전트 태스크 할당들 각각은 상기 제1 복수의 이력 에이전트 태스크 할당들 각각과 상이한 시스템.
제43항에 있어서, 상기 태스크 할당 시스템은 컨택 센터이고, 상기 선호하는 태스크 할당 전략은 컨택들을 컨택 센터 에이전트들에 할당하는 시스템.
제43항에 있어서, 상기 복수의 이력 에이전트 태스크 할당들은 이력 에이전트 태스크 할당들의 상위세트의 홀드아웃 세트인 시스템.
제53항에 있어서, 상기 임계 적합 근접도 내에 있는 상기 복수의 이력 에이전트 태스크 할당들의 서브세트는 상기 홀드아웃 세트의 샘플인 시스템.
제조물로서,
비일시적인 프로세서 판독 가능 매체; 및
상기 매체 상에 저장된 명령어들
을 포함하고,
상기 명령어들은 태스크 할당 시스템에 통신 가능하게 연결된 적어도 하나의 컴퓨터 프로세서에 의해 상기 매체로부터 판독 가능하도록 구성되고, 이에 의해 상기 적어도 하나의 컴퓨터 프로세서로 하여금,
제1 복수의 이력 에이전트 태스크 할당들을 수신하고,
선호하는 태스크 할당 전략에 대해 상기 복수의 이력 에이전트 태스크 할당들 각각에 대한 적합 근접도를 결정하고,
상기 선호하는 태스크 할당 전략에 대한 임계 적합 근접도를 결정하고,
상기 임계 적합 근접도 내에 있는 상기 제1 복수의 이력 에이전트 태스크 할당들의 서브세트에 기초하여 예상 성능을 결정하고,
상기 예상 성능을 출력하고,
상기 예상 성능에 기초하여 상기 태스크 할당 시스템의 성능을 최적화하도록
동작하게 하는 제조물.
제55항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 선호하는 태스크 할당 전략에 대한 적합 근접도의 복수의 임계치들을 결정하도록 동작하게 되는 제조물.
제56항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 선호하는 태스크 할당 전략의 성취도들의 변화에 대한 상기 선호하는 태스크 할당 전략의 성능의 상관을 결정하도록 동작하게 되는 제조물.
제57항에 있어서, 상기 예상 성능은 또한 상기 성능의 상관에 기초하는 제조물.
제58항에 있어서, 상기 적어도 하나의 컴퓨터 프로세서는 추가로,
상기 선호하는 태스크 할당 전략을 사용하여 생성된 제2 복수의 이력 에이전트 태스크 할당들을 수신하고,
상기 제2 복수의 이력 에이전트 태스크 할당들에 기초하여 상기 성능의 상관을 분석하도록
동작하게 되는 제조물.