Сертификат качества¶
Сертификат качества — это одноэкранное заключение по завершенному проекту: пригодны ли синтетические данные для предоставления, насколько они близки к вашим реальным данным и для чего их безопасно использовать? Прочитайте его, прежде чем отправлять что-либо клиенту.
Это не то же самое, что Отчет о качестве и производительности, который представляет собой аудит Excel, загружаемый вами. Сертификат — это сводка, которую вы читаете на экране; отчет — это подробный файл, стоящий за цифрами.
Где его найти¶
Откройте завершенный проект (см. Мониторинг и результаты) и найдите панель Quality certificate на экране сведений о проекте. Нажмите на заголовок, чтобы открыть или закрыть ее.
Каждый проект, который завершается сейчас, получает свой сертификат автоматически — ничего не нужно включать. Проекты в Automatic mode также получают сертификат.
Пока не введено в эксплуатацию
Эти два изменения реализованы, но еще не запущены на app.ninfinite.studio, поэтому то, что вы видите сегодня, может немного отличаться:
- Collapsed by default. Панель будет изначально закрыта, чтобы сведения о проекте оставались краткими; нажмите на заголовок, чтобы открыть ее.
- Older projects. Проекты, завершенные до 8 октября 2026 года, могут не иметь сертификата. Кнопка Compute quality certificate создаст его по запросу. Пока она работает, на панели отображается сообщение о вычислении; в случае сбоя на панели отображается справочный код (который нужен службе поддержки, см. Ожидание, очереди и ошибки) и кнопка Retry.
Заключение¶
Пока не введено в эксплуатацию
Заключение и формулировка Real base в следующем разделе реализованы, но еще не запущены на app.ninfinite.studio. До их выпуска на панели отображается один значок под названием Viable, который отражает только объем реальных данных (см. Real base), а не качество синтетических данных.
В верхней части панели одно заключение указывает, пригодны ли данные для предоставления. Оно объединяет три аспекта: реальную базу, оценки качества и проверки готовности к предоставлению. Ниже панель перечисляет причины, начиная с наиболее важных.
| Verdict | Когда вы его видите | Что делать |
|---|---|---|
| Ready to use | Все из перечисленного: real base Sufficient, каждая проверка готовности к предоставлению пройдена, и Core score составляет 80 или более. | Предоставлять. Строка Recommended for называет виды анализа, оценка которых составляет 80 или более. |
| Use with caution | Все, что находится между этими состояниями. Причины могут быть следующими: менее 300 реальных полных случаев (или менее 150); более 50% синтетических строк; Core score от 50 до 79; небольшая синтетическая часть (менее 100 строк, поэтому оценки варьируются между запусками); или Core score не может быть рассчитан. | Прочитайте причины и предоставляйте данные только для использования, перечисленного в разделе Recommended for. При менее чем 150 реальных случаях это означает только общие итоги, а не разбивки по сегментам. |
| Not recommended | Любое из перечисленного: более 70% строк являются синтетическими, хотя бы одна проверка готовности к предоставлению не пройдена, или Core score ниже 50. | Не предоставлять в текущем виде. В случае непройденной проверки начните с Постобработки. Для тонкой реальной базы добавьте реальных респондентов. Для низкого Core score посмотрите на пять оценок, чтобы понять, какой вид анализа слаб. |
Real base¶
Под заключением одна строка показывает, сколько строк являются реальными, а сколько — синтетическими, например 755 real · 252 synthetic (25% synthetic). Значок под названием Real base оценивает это соотношение.
Значок Real base измеряет только объем реальных данных, лежащих в основе предоставления. Он ничего не говорит о качестве синтетических строк; для этого предназначены оценки ниже.
| Badge | Когда вы его видите | Что это означает |
|---|---|---|
| Green Sufficient | Не менее 300 реальных полных случаев (респондентов, заполнивших анкету) и не более 50% синтетических строк | Достаточно реальных данных для построения, и синтетическая часть является скромным дополнением. |
| Yellow Limited | Менее 300 реальных полных случаев, или более 50% синтетических строк | Пригодно для использования, но прочитайте примечания. При менее чем 150 реальных случаях сертификат рекомендует использовать данные только для totals only, а не для разбивок по сегментам. |
| Red Too thin | Более 70% предоставленных строк являются синтетическими | Слишком мало реальных данных лежит в основе результата, чтобы он мог быть самостоятельным. |
Как измеряется качество¶
Вопрос: насколько синтетические данные близки к реальным данным? Чистая разница сама по себе мало что значит, потому что даже две реальные выборки одного и того же размера никогда не совпадают точно. Поэтому сертификат сначала измеряет это естественное отклонение:
- Он многократно разделяет ваши реальные данные на две случайные половины, в соответствии с размерами вашего проекта, и записывает, насколько две реальные выборки отличаются.
- Он измеряет ту же разницу между синтетическими данными и реальными
данными по четырем группам метрик:
- Percentages and spread каждого вопроса.
- Relationships между вопросами, плюс тест на то, может ли классификатор отличить реальные строки от синтетических.
- Applied analyses: ранжирования и перекрестные таблицы по профилю.
- Diversity: редкие ответы сохраняются, и респонденты не копируются.
- Он помещает синтетическую разницу по шкале от 0 до 100 относительно реальной.
Что означают числа. 100 означает, что синтетические данные отличаются от реальных данных не больше, чем отличалась бы типичная вторая реальная выборка (медиана сравнений реальных данных с реальными). 0 означает, что они отличаются больше, чем 95% этих сравнений. Между ними шкала линейна; только Diversity использует плавную кривую, где 50 находится на 95-м процентиле.
Пример. Оценка Topline 85 означает, что процентные показатели вопросов отличаются от реальных данных примерно так же, как две реальные выборки одного и того же размера: немного больше, чем типичная пара, но в пределах нормального диапазона пар.
Пять оценок¶
Под заключением вы получаете один Core score от 0 до 100, за которым следуют пять оценок, по одной для каждого вида анализа, который вы, вероятно, будете проводить с данными. Каждая оценка задачи представляет собой взвешенную смесь четырех вышеуказанных групп. Core — это среднее арифметическое из пяти. Каждая из пяти оценок окрашена по диапазону:
| Colour | Score |
|---|---|
| Green | 80 или более |
| Yellow | От 65 до 79 |
| Orange | От 50 до 64 |
| Red | Ниже 50 |
| Score | Что он вам говорит | В основном построен из |
|---|---|---|
| Topline | Насколько процентные показатели каждого вопроса близки к реальным данным. Хорошо подходит для общих и основных показателей. | Percentages and spread |
| Profiles / cross-tabs | Насколько хорошо данные сохраняются при их разбиении по группам профилей, таким как пол, возраст или страна. Хорошо подходит для разбивок. | Applied analyses |
| Multi-response rankings and funnels | Насколько точно воспроизводятся ответы с множественным выбором, ранжирования и воронки бренда (осведомленность, рассмотрение, покупка…). Хорошо подходит для отслеживания бренда. | Applied analyses |
| Relationships and drivers | Сохраняются ли связи между вопросами, которые вы использовали бы для анализа драйверов. Хорошо подходит для анализа драйверов. | Relationships |
| Segmentation | Появляются ли те же сегменты, которые вы нашли бы в реальных данных, в предоставленных данных. Хорошо подходит для работы с сегментацией. | Relationships and diversity |
Вид анализа указывается в разделе Recommended for, если его оценка составляет 80 или более. Если real base составляет менее 150 случаев, может быть указан только Topline.
Delivery checks¶
Список проверок "пройдено/не пройдено" для предоставленных строк. Каждая из них показывает Passed или Failed, и непройденная проверка делает заключение Not recommended:
- Structural rule violations — соблюдаются числовые зависимости, найденные в вашем файле (например, части, которые должны суммироваться до общего значения).
- Empty questions — ни один вопрос не остается полностью пустым в синтетических строках.
- Exact duplicate rows — никакие две синтетические строки не идентичны.
- Rows copied from a real respondent — ни одна синтетическая строка не является копией реального человека.
- Answers within the study's options — каждый сгенерированный ответ является кодом, который существует в ваших реальных данных для этого вопроса, поэтому не появляются придуманные варианты ответов.
Если проверка не пройдена, Постобработка — это первое место, куда следует обратиться: исправление логической согласованности и Remove duplicates действуют именно на эти проблемы, и вы можете загрузить данные снова, не перегенерируя ничего.
Ограничения¶
- Внутренняя оценка. Сравнение проводится с теми же реальными данными, на которых обучался движок, а не с респондентами, которых он никогда не видел. Это делает оценки несколько оптимистичными. Внешняя валидация с использованием отложенных данных доступна по запросу.
- Мало синтетических строк. При небольшой синтетической части (менее 100 строк) данных для измерения мало, поэтому оценки сильно меняются от одного запуска к другому. Относитесь к ним как к приблизительному ориентиру, а не к точной цифре; заключение отмечает это как причину для осторожности.
Примечания и рекомендуемые варианты использования¶
Notes указывают на все, что ограничивает степень доверия или использования результата — например, что синтетическая часть мала, или что в файле нет числовых вопросов для проверки. Recommended uses говорит, для чего данные хороши, учитывая все вышесказанное, например, только для общих итогов.
Те же входные данные, тот же файл¶
Генерация воспроизводима: тот же проект, на тех же данных, с тем же random seed производит тот же файл. Seed — это Random seed в Сравнении выполнений и в настройках Statistical Refinement в Постобработке.
Automatic mode намеренно использует другой seed для каждой из пяти своих версий, а затем предоставляет ту, которая имеет лучшую внутреннюю оценку качества.