Предварительная обработка

Параметры предварительной обработки улучшают качество файла данных или подготавливают его для корректного использования системой. Они выбираются перед началом проекта и выполняются последовательно, как дополнительные шаги в процессе создания проекта.

Clean & Reshape

Установите флажок Clean & reshape и запустите обработку: откроется Table Processor — "clean and reshape your file into the platform's classic format before continuing" — с пятью подшагами. Вы можете заменить файл в любой момент (Replace file, в правом верхнем углу).

1. Delete rows

В таблице отображаются ваши необработанные данные. Выберите любые строки для удаления — метаданные или дополнительные строки заголовка. Если вы удалите строку 1 (текущий заголовок), строка 2 станет новым заголовком; если файл имеет две строки заголовка для каждого столбца, сохраните кодированную строку.

2. Define the questionnaire block

Выберите столбцы, где опросник начинается и заканчивается. Все, что находится между ними, защищено от ручного удаления на следующем шаге; столбцы после окончания автоматически перемещаются перед первым вопросом.

Переключатель Complete / Incomplete:

• Enabled — все загруженные строки (кроме полностью пустых) являются действительными строками, соответствующими логике пропуска вопросов опросника. Конечный столбец End помечает Y строки, которые ответили на опросник.
• Disabled — инструмент предполагает, что любая строка может быть неполной, и будет прогнозировать до последнего столбца, используя данные из полных строк в каждом столбце для обучения. Полностью пустые строки определяются как профили для прогнозирования.

3. Select columns to delete

Просмотрите первые строки и выберите столбцы для удаления — контрольные суммы, время начала/окончания, другие идентификаторы строк.

Столбцы опросника также могут быть удалены. Они отображаются жирным шрифтом, чтобы вы могли отличить их от столбцов профилирования, и вы можете удалить отдельные вопросы, которые не хотите моделировать. Остается одно ограничение: если вы отметите все столбцы опросника, на экране появится предупреждение "You can't delete every questionnaire column — keep at least one question.", и кнопка Continue to auto-clean останется неактивной, пока вы не оставите хотя бы один.

4. Auto Clean

Автоматические предложения для столбцов профилирования без разнообразия (все значения идентичны) или с низкой плотностью, управляемые ползунком empty threshold (по умолчанию: 90% пустых). Количество столбцов до/после отображается в реальном времени. Мы рекомендуем обрабатывать файлы, содержащие не более 50–100 столбцов профилирования.

5. Preview & continue

Очищенный набор данных с добавленным столбцом-маркером Start. Загрузите обработанный файл или Continue with processed data для перехода к конфигурации проекта.

Numeric Preprocessor

Установите флажок Analyze numeric fields: платформа обнаруживает числовые столбцы и показывает для каждого из них его минимальное / максимальное / среднее значение / количество и действие:

• Action to perform: None, Closest (округление до ближайшего шага), Ceil, Floor или Delete столбец.
• Keep values between: фильтр диапазона — строки со значениями вне его удаляются.

Панель Process Summary отслеживает исходные и конечные строки с предварительным просмотром в реальном времени, и вы можете загрузить обработанный файл или продолжить.

Open Text Normalizer

Установите флажок Normalize open ends: откроется Open Text Normalizer с четырьмя подшагами (Select columns → ID & profile → Run → Preview & continue).

1. Select columns to normalize

Столбцы со свободным текстом предварительно выбираются с использованием эвристики (нечисловые, высокая уникальность, более длинный текст). Столбцы брендов, имеющие общий префикс (Q1_1, Q1_2, Q1_3), обнаруживаются как одна группа и объединяются в один дедуплицированный столбец. Переключите Show non-text columns, чтобы вручную сопоставить любой столбец:

Каждый столбец получает одну из четырех обработок:

• Do not process
• Normalize list/brands — группирует все упоминания брендов, устраняя опечатки и различия в регистре. AI Suggest генерирует метки категорий из существующих упоминаний. Несколько брендов в одном ответе разделяются символом ~.
• Extract concepts — группирует ответы концептуально, до заданного пользователем максимума различных концепций, с AI Suggest для меток. Несколько концепций разделяются символом ~.
• Sentiment suite (reconstructable) — деконструирует ответы на переменные настроения, ключевые слова и основные элементы, что позволяет прогнозировать с помощью машинного обучения и регенерировать уникальные открытые ответы, чувствительные к контексту каждого респондента.

2. Unique ID and profile columns

Столбец уникального идентификатора необходим для сопоставления пакетных результатов с исходными строками. Возраст, пол и страна/регион являются необязательным контекстом, используемым на этапе последующей реконструкции текста.

Start processing запускает нормализацию; затем шаг Preview & continue передает нормализованный файл в конфигурацию проекта.