Отчет о качестве и производительности¶
Отчет о качестве и производительности — это загружаемый аудит завершенного проекта. Его можно получить в деталях проекта, рядом с Train dataset, или из меню загрузки в списке проектов. Он доступен только после завершения проекта.
Файл создается на языке интерфейса — английском, испанском или русском — и имеет имя
<project name> - Summary.xlsx.
Ищете краткий вердикт на экране? Это Сертификат качества.
Больше не сообщает о точности обучения
Ранее отчет показывал оценку каждой модели по ее собственным обучающим строкам. Это число поощряло запоминание: модель Random Forest, которая запоминает строки, на которых она была обучена, набирает почти 100%, в то время как модель ближайших соседей, которая намеренно исключает ближайшую строку, набирает меньше — даже если она производит более близкие распределения, более точные кросс-таблицы и не создает почти-копий. Ни один из этих показателей не учитывал ни одной синтетической строки.
Теперь отчет измеряет переданные строки. Старое число все еще присутствует, честно помеченное как Fit on training data (%), рядом с базовым уровнем большинства, чтобы вы могли оценить его значимость.
Что означают метрики¶
Все нижеперечисленное сравнивает ваши исходные строки со сгенерированными строками, вопрос за вопросом.
| Показатель | Значение |
|---|---|
| Точность с учетом пропусков (%) | Насколько точно сгенерированные ответы воспроизводят реальное распределение, считая пропуски ответом. 100 = идентично. |
| Точность только для ответов (%) | То же самое, игнорируя пропуски — насколько близки ответы, независимо от того, кто пропустил вопрос. |
| Исходные пропуски (%) / Сгенерированные пропуски (%) | Доля пропусков с каждой стороны. |
| Разрыв в доле пропусков (п.п.) | Разница между ними в процентных пунктах. Большой разрыв означает, что синтетические строки пропускают вопросы с другой частотой, чем реальные респонденты. |
| Покрытие категорий (%) | Доля реальных вариантов ответа, которые появляются хотя бы один раз в сгенерированных строках. Редкий вариант, который никогда не появляется, отображается здесь. |
| Точность кросс-табуляции для ответов (%) | Та же точность, измеренная внутри каждой группы профиля (пол, возраст, страна в первую очередь, затем другие столбцы с низкой кардинальностью). Это число имеет значение, когда результат будет пересекаться по сегментам. |
| Базовый уровень большинства (%) | Что вы получили бы, всегда выбирая наиболее частый вариант. Контекст для Fit on training data, а не целевой показатель качества. |
| Ячейки, которые изменила бы предполагаемая логическая корректировка (%) | Согласованность: доля сгенерированных ячеек, которые логическая корректировка все еще хотела бы изменить. Чем ниже, тем лучше. |
| Близкие копии в выборке сходства (%) | Доля сгенерированных строк, которые на 80% или более идентичны своему ближайшему реальному респонденту, оценка по выборке до 500 строк. Это показатель "просто ли это копирование моих респондентов?". |
| Сгенерированные строки в группах дубликатов / Избыточные точные дубликаты строк | Повторения среди самих сгенерированных строк. |
| Точные копии оригиналов | Сгенерированные строки, идентичные реальному респонденту — подсчитаны по всем строкам, а не по выборке. |
Чем выше, тем лучше для каждого показателя точности и покрытия; чем ниже, тем лучше для разрыва в доле пропусков, согласованности, близких копий и дубликатов.
Точность не является прогностической
Отчет сам об этом говорит в строке Interpretation: точность распределения не является точностью для отложенных респондентов. Он сообщает, что переданный набор данных ведет себя как реальный в совокупности — а не то, что какой-либо отдельный синтетический ответ был "правильным".
Четыре листа¶
Summary — один показатель на строку для проекта в целом: количество исходных и сгенерированных строк, средние показатели точности, количество новизны и дубликатов, проверки идентификаторов, согласованность и общее время ответа на поле. Он начинается с трех примечаний по области применения, которые стоит прочитать один раз:
- Data scope — цифры описывают хранимые данные, представленные в виде столбцов анкеты; необязательная окончательная постобработка не включена. Дедуплицированная загрузка может быть чище, чем предполагает отчет.
- Interpretation — вышеупомянутая оговорка о том, что точность не является прогностической.
- Rule scope — структурные гипотезы носят рекомендательный характер; явные правила имеют приоритет.
Блок идентификаторов сообщает, безопасен ли настроенный вами столбец ID: коллизии между исходными и сгенерированными строками, избыточные дублирующиеся идентификаторы с каждой стороны и сгенерированные строки без идентификатора вообще. Preservation of the uploaded file намеренно помечено как Not checked by this report.
Fields — те же показатели, по каждому вопросу: точность с пропусками и без них, доли пропусков и их разрыв, покрытие категорий, точность кросс-табуляции, базовый уровень большинства, а также любое наблюдаемое числовое правило для этого поля, сколько строк его нарушают и его статус.
Models — какая модель отвечала на каждый вопрос, сколько времени это заняло и Fit on training data (%).
Structural rules — каждая числовая взаимосвязь, которую платформа вывела из вашего файла (например, части, которые должны суммироваться до общего итога), со статусом Consistent, Violations, Partially supported или Unsupported inputs, а также соответствующие счетчики для исходной и сгенерированной стороны. Если ничего не удалось вывести, лист явно указывает на это — "No structural hypotheses available; this is not a validation pass" — что не то же самое, что прохождение проверки.
Практическое применение¶
- Проверка корректности поставки: средняя точность только для ответов и точность кросс-табуляции высокие, покрытие на уровне или около 100, разрыв в доле пропусков небольшой.
- Ответ на вопрос "дублируются ли эти реальные люди?": близкие копии в выборке сходства, точные копии оригиналов и сгенерированные строки в группах дубликатов. Если эти показатели высоки, запустите Remove duplicates в постобработке и загрузите снова.
- Перед кросс-табуляцией данных по сегментам: Answered crosstab fidelity, а не общая точность.
- Игнорировать изолированно: Fit on training data (%). Сравнивайте его с базовым уровнем большинства или не сравнивайте вовсе.
Отчет создается рабочим процессом, а не в вашем браузере, поэтому он ведет себя как любая другая большая загрузка — см. Ожидание, очереди и ошибки.