Постобработка¶

Постобработка применяет необязательные шаги очистки к сгенерированным строкам непосредственно перед их объединением с вашими реальными данными. Она выполняется во время загрузки, а не во время обучения, поэтому вы можете попробовать различные настройки для завершенного проекта без повторной генерации чего-либо.

Есть три способа доступа:

из списка проектов, для завершенного проекта: Postprocess в меню загрузки строки ("Choose optional cleanup steps and download the merged dataset");
из деталей проекта: DATASETS → Post Process Dataset;
из шага Review в Quota Manager, чтобы очистить выбранные квоты перед выгрузкой (см. Менеджер квот).

Все три открывают одно и то же диалоговое окно: Merge Datasets - Postprocessing Options.

Параметры постобработки

Note

Реальные строки никогда не изменяются и не удаляются. Каждый из описанных ниже шагов затрагивает только синтетические строки.

Как устроено диалоговое окно¶

Диалоговое окно состоит из двух панелей. Слева расположены три этапа, каждый со своим переключателем:

Logical Consistency Repair
Statistical Refinement
Remove duplicates

Нажатие на карточку этапа выбирает его, не включая; нажатие на его переключатель включает или выключает этап. Правая панель показывает параметры выбранного этапа. Если этот этап выключен, его параметры отображаются серым цветом, и на панели появляется сообщение "This stage is off. Turn it on to apply these settings."

Итак: выберите нужные этапы слева, настройте каждый из них справа, затем загрузите.

Logical Consistency Repair¶

Устраняет оставшиеся логические несоответствия в сгенерированных строках, используя правила, проверенные на реальных данных — например, ответ, который логика пропуска в анкете делает невозможным для данного респондента. У него нет параметров: он либо включен, либо выключен. Он также исправляет:

Вопросы ранжирования, хранящиеся по одной колонке на каждый пункт. Ранги каждого респондента выводятся без совпадений и варьируются от 1 до количества пунктов.
Логика воронки бренда по вопросам. Например, респондент, который рассматривал бренд X, также должен знать о бренде X. Эти правила изучаются на основе ваших реальных данных, а не предполагаются.

В Automatic mode это исправление всегда включено.

Корректирует сгенерированные строки таким образом, чтобы их статистическая структура и средние значения более точно соответствовали реальным данным. Его параметры сгруппированы в три раздела:

Параметры уточнения

Target

Параметр	Что он контролирует
Target correlation ratio	Снижает среднюю корреляцию сгенерированных строк до не более чем этого отношения к реальным строкам (например, `1.05` = в пределах 5% от реальной структуры)
Correlation metric	Спирмена (рекомендуется) или альтернативные
Also calibrate marginals	Исправляет средние значения столбцов, а не только корреляцию

Execution

Параметр	Что он контролирует
Max search iterations	Насколько усердно оптимизатор пытается перед стабилизацией
Random seed	Одно и то же начальное значение дает тот же результат — сохраняйте его фиксированным для воспроизводимых результатов
Stage order	Какой этап выполняется первым, например, Structure repair, then marginals
Gated / conditional cells	Freeze (never touch) или Include (calibrate everything) — как обрабатывать ячейки, которые применимы только к некоторым респондентам

Patterns

Параметр	Что он контролирует
Pattern-lock threshold	Доля пустых значений в реальных строках, которая запускает блокировку столбца с условием
Min. support	Сколько реальных строк требуется шаблону с условием, прежде чем ему можно будет доверять

Remove duplicates¶

Удаляет сгенерированные строки, которые являются почти дубликатами другой сгенерированной строки — или, опционально, реальной строки:

Удалить дубликаты

Similarity threshold — чем выше, тем меньше почти точных строк удаляется; чем ниже, тем больше строк считаются дубликатами.
Max. removal (%) — верхний предел того, какую часть выборки может удалить этот шаг.
Also compare against real (train) rows — обнаруживает сгенерированную строку, которая клонирует своего собственного респондента. Это основной риск в проектах Lite, и настройка, к которой следует обратиться, когда клиент сообщает о "repeated respondents".

Диалоговое окно предварительно показывает результат перед загрузкой:

сколько сгенерированных строк будет удалено при текущем пороге;
какие столбцы исключены из сравнения и почему (например, "nearly the same answer for everyone" — столбец, где все согласны, не несет информации для выявления дубликатов);
таблица Removals by threshold, чтобы вы могли видеть, как изменяется количество при ослаблении порога, и выбрать настройку, основанную на данных, а не на ощущениях.

Формат загрузки¶

Рядом с кнопкой загрузки, Download format предлагает два формата вывода:

Excel (.xlsx) — по умолчанию.
SPSS (.sav) — "Data only — the report sheets are included in the Excel version." Выберите его, когда результат сразу отправляется в SPSS; возьмите версию Excel, если вам также нужны листы аудита.

Download применяет выбранные шаги и создает объединенный файл. Большие экспорты .sav создаются медленнее всего — файл готовится в фоновом режиме и появляется самостоятельно, см. Ожидание, очереди и ошибки.