Перегляд точності та ефективності моделей прогнозного оцінювання

Знання того, наскільки точною є модель прогнозного оцінювання, допоможе вам вирішити, чи готова модель до використання, чи її потрібно доопрацювати для підвищення точності. Це також допоможе вам переконати вашу команду керівників і продавців прийняти цю модель для покращення бізнес-результатів.

Показники, описані в цій статті, застосовуються як до оцінювання можливостей, так і до оцінювання потенційних клієнтів.

Фактори, що впливають на точність

Модель прогнозного скорингу розраховує ймовірність того, що потенційна угода або потенційний клієнт призведе до продажу. Точність моделі залежить від наступних факторів:

• Якість і обсяг даних, доступних для навчання моделі
• Потік бізнес-процесів і вибрані фільтри
• Етапи та атрибути, які ви вибираєте, якщо модель використовує для кожного етапу моделювання

Модель тренується з використанням 80% закритих можливостей або лідів у тренувальному наборі даних. Він перевіряється з використанням решти 20% як тестового набору даних, який складається з найновіших записів. Точність моделі розраховується за допомогою валідованого набору тестових даних на основі таких параметрів, як правдиві спрацьовування, помилкові спрацьовування тощо.

Переглядайте показники точності та ефективності

1. Перейдіть до області змін у нижньому лівому куті програми Sales Hub і виберіть параметри Sales Insights.

2. На карті сайту в розділі " Прогнозні моделі" виберіть Скоринг можливостей або Оцінювання потенційних клієнтів.

3. У списку Вибрати модель виберіть модель.

4. Виберіть вкладку Продуктивність .

   

На вкладці «Ефективність » відображаються такі показники. Якщо на вкладці "Ефективність " ви не бачите жодних показників, відредагуйте та перекваліфікуйте модель оцінювання можливостей.

• Продуктивність моделі: визначає, чи готова модель до публікації на основі таких параметрів:

  • Точність: як часто модель робила правильні прогнози, позитивні або негативні. Ця метрика найбільш корисна, коли набір даних збалансований, а вартість помилкових спрацьовувань і помилкових негативів однакова. Показник точності розраховується за такою формулою:

    Точність = (TP + TN) / (Загальна кількість можливостей або набраних лідів) *100

  • Нагадаємо: як часто модель правильно передбачала позитивний результат у порівнянні з фактичними позитивними результатами. Низький показник пригадування означає, що модель прогнозує менше справжніх позитивних результатів. Оцінка за відкликання розраховується за такою формулою:

    Відкликання = ТП / (ТП + ФН) *100

  • Коефіцієнт конверсії: відсоток кваліфікованих або виграних потенційних клієнтів на основі історичних даних, а також ймовірність того, що потенційна угода чи потенційний клієнт здійснить конверсію. Модель використовує це значення, щоб визначити, як атрибут впливатиме на прогнозну оцінку. Коефіцієнт конвертації розраховується за такою формулою:

    Коефіцієнт конверсії = (TP + FN) / (Загальна кількість можливостей або набраних лідів) *100

• Матриця плутанини: наскільки добре ваша модель передбачила результати, коли її перевіряли на основі історичних даних. Матриця відображає кількість істинно позитивних, істинно негативних, помилкових спрацьовувань і помилково негативних.

  Показник	Передбачив	Фактично
  Істинно позитивний результат (TP)	Так	Так
  Істинно негативний результат (TN)	No	No
  Помилковий результат (FP)	Так	No
  Хибно негативний результат (FN)	No	Так

• Площа під кривою: оцінка площі під кривою (AUC) моделі. Оцінка AUC визначає ймовірність того, що модель оцінить випадково вибраний позитивний екземпляр (виграна можливість або кваліфікований лід) вище, ніж випадково вибраний негативний (втрачена можливість або дискваліфікований лід). Модель з більш високим AUC краще прогнозує справжні позитивні і справжні негативні.

• Оцінка Формули-1: оцінка Формули-1, розрахована на основі точності моделі та показників запам’ятовування. Оцінка F1 визначає якість моделі навіть при незбалансованості даних.

• Поріг: поріг, за якого потенційний клієнт або потенційна угода вважаються кваліфікованими або виграними. Наприклад, якщо поріг становить 45, то як виграні будуть передбачені можливості з рахунком більше 45. Поріг вибирається для оптимізації оцінки Формули-1.

Приклад: показники ефективності моделі

Давайте подивимося на результати прогнозування для вибіркового набору даних з 1 000 можливостей:

Модель передбачала 850 (TP + FP) можливостей, які будуть виграні; однак насправді було виграно лише 650 можливостей (ТП). Аналогічно, модель передбачала 150 (TN + FN) можливостей, які будуть втрачені, але насправді було втрачено лише 100 (TN) можливостей.

У наведеній нижче таблиці наведено показники для даних.

Покращення продуктивності моделі

Якщо ваша модель не готова до публікації або працює погано, спробуйте покращити її оцінки.

• Перегляньте атрибути, які він використовує.
• Переглядайте статистику атрибутів , щоб зрозуміти її вплив на загальний прогноз моделі.
• Ігноруйте порожні значення для атрибутів, які мають більший відсоток порожніх значень і можуть спричиняти помилкові спрацьовування або помилкові негативні результати.
• Включіть інтелектуальні поля , які допоможуть моделі оцінювання потенційних клієнтів розрізняти фактори, які покращують або шкодять оцінці.
• Використовуйте моделювання для кожного етапу в моделі оцінювання можливостей, щоб вибрати атрибути, які будуть застосовуватися до кожного етапу бізнес-процесу.
• Уточніть критерії фільтра, період часу для тренувальних даних або інші конфігурації моделі. Наприклад, якщо ви вибрали два роки як період часу для даних тренувань, але за цей період було забагато тестів або неправильних записів, виберіть коротший період часу, наприклад шість місяців або один рік, коли якість даних краща.

Не можете знайти цю функцію у своєму додатку?

Є кілька можливостей:

• У вас немає необхідної ліцензії для використання цієї функції. Перегляньте порівняльну таблицю та посібник із ліцензування, щоб дізнатися, які функції доступні з вашою ліцензією.
• У вас немає необхідної ролі безпеки, щоб використовувати цю функцію.
  • Щоб налаштувати або настроїти функцію, потрібно мати ролі адміністрування та настроювання
  • Щоб використовувати функції, пов’язані зі збутом , потрібно мати ролі Основні продажі
  • Деякі завдання вимагають специфічних функціональних ролей.
• Ваш адміністратор не вмикав цю функцію.
• У вашій організації використовується настроювана програма. Зверніться до свого адміністратора, щоб отримати точні вказівки. Кроки, описані в цій статті, стосуються виключно готових програм Центр збуту та Sales Professional.

Пов’язані відомості

Налаштуйте прогнозований скоринг потенційних клієнтів
Налаштування прогнозованого оцінювання можливостей