Подготовка данных для ИИ-проектов: с чего начать
Как подготовить данные перед ИИ-проектом: инвентаризация, очистка, ответственные, доступ, тестовый набор, защита данных и частые ошибки.
Команда rabbitclipПубликация: 5 мин чтения
Коротко
Подготовка данных для ИИ-проекта означает, что до начала работы вы выясняете, где лежат ваши данные, кому они принадлежат, насколько надёжны и какие их части можно показывать системе ИИ, а затем очищаете то, что нуждается в очистке. В большинстве проектов это занимает больше времени, чем выбор модели, и сильнее влияет на результат. Если данные разбросаны, устарели или противоречат друг другу, ИИ их не исправит; он повторит ошибки гладким, связным текстом. Чувствительные данные отделяют и защищают на этом этапе, а не после него.
Эта статья не о том, как выбрать модель или инструмент; она о том, что должно быть готово, какой бы инструмент вы ни выбрали. В ней нет подробного разбора создания конкретной базы знаний и нет пересказа закона о защите данных; здесь рассматриваются вопросы, которые стоит задать до начала проекта.
Почему подготовка данных идёт раньше выбора модели?
ИИ учится на тех данных, которые ему показывают, или отвечает, опираясь на них. Ошибка в данных может превратиться в устойчивую склонность в поведении системы. Если производитель напольных покрытий хранит сведения о продукции в трёх таблицах с тремя разными единицами измерения, ассистент, работающий по ним, может называть разные размеры для одного и того же изделия.
Поэтому подготовка это не расход, который оплачивается в начале, а способ предотвратить ошибки, которые иначе проявились бы позже. Общая причина многих неудавшихся проектов не в модели, а в данных, которым никто не доверяет.
Как составить инвентаризацию данных?
Первый шаг это список того, чем вы располагаете: какая информация где хранится, кто её обновляет, когда её обновляли в последний раз и в каком формате. Список нередко удивляет; одни и те же сведения о клиенте могут жить по отдельности в бухгалтерской программе, в почтовом ящике и в таблице.
По каждому источнику инвентаризация отвечает на три вопроса: актуален ли он, надёжен ли он, можно ли показывать его системе ИИ. Источник, на все три вопроса по которому вы не можете ответить «да», либо исключают из проекта, либо сначала приводят в порядок.
- Источник: где хранятся данные, в какой системе или в каком файле
- Ответственный: кто их обновляет и кто отвечает за их точность
- Актуальность: когда их проверяли в последний раз
- Формат: структурированная таблица, свободный текст или отсканированное изображение
- Чувствительность: содержат ли они персональные, финансовые или коммерчески конфиденциальные материалы
Как очищают данные?
Очистка состоит из трёх задач: объединение дубликатов, устранение противоречий и заполнение или пометка пропусков. Клиент, записанный тремя разными написаниями, товар с двумя ценами, оставленные пустыми поля: всё это типичные случаи. Автоматические инструменты нередко проходят половину пути, а остальное доводит до конца человек, знающий дело.
ИИ и здесь может помочь, например, сгруппировав похожие записи и предложив объединения; но его предложение может оказаться неверным, а ошибочно объединённые карточки двух клиентов трудно разделить обратно. Решения об объединении сначала проверяют на глаз на небольшой выборке и лишь затем расширяют.
Как отделяют и защищают чувствительные данные?
Показывать ИИ нужно далеко не все данные. Номера удостоверений личности, сведения о здоровье, банковские реквизиты и личную переписку с клиентами не включают в набор или маскируют, если только задача действительно в них не нуждается. Самые безопасные данные это те, которые никогда не показывают.
Для тех данных, которые показывают, доступ делают узким: их видят только участники проекта, каждое обращение записывается в журнал, а заранее решается, в какой сервис уходят данные, хранятся ли они там и используются ли для обучения модели. Категоричного вывода о юридических обязанностях здесь дать нельзя; перед проектом, который затрагивает персональные данные, проконсультируйтесь с юристом, в том числе по вопросам GDPR.
Как подготовить тестовый набор, чтобы измерить успех?
Чаще всего пропускают именно тестовый набор: короткий список настоящих вопросов, на которые система должна отвечать правильно, вместе с верными ответами. Его пишет человек, знающий работу, независимо от системы. Для большинства компаний на первое время достаточно примерно ста вопросов.
Без тестового набора ответ на вопрос, хорошо ли работает система, остаётся лишь впечатлением. Каждый раз, когда вы обновляете данные или меняете инструмент, вы заново прогоняете тот же список и смотрите, стало лучше или хуже. ИИ иногда отвечает неверно; тестовый набор показывает, как часто и по каким темам.
Когда подготовка данных не нужна или преждевременна?
Если вы используете ИИ только для исправления орфографии, краткого пересказа совещаний или черновиков общих текстов, собственные данные вам не нужны, а подробная подготовка была бы излишней. Настоящий вопрос там состоит в простом правиле о том, что нельзя вводить в инструмент никогда.
Подготовка преждевременна и тогда, когда цель проекта ещё расплывчата. Очищая данные до того, как вы поняли, что хотите решить, рискуете исправить не то. Сначала выберите небольшой, ясный вопрос, а потом готовьте данные, которые ему служат.
Какие ошибки допускают чаще всего?
Самая распространённая ошибка: пытаться подготовить сразу все данные. Очистка, которая тянется месяцами, изматывает людей раньше, чем появляется хоть какой-то результат. Если начать с малого, с данных по одной теме, быстро получается результат и становится видно, что работает.
Вторая ошибка: данные-сироты. Источник, у которого нет явного человека, обновляющего его, через какое-то время снова устаревает. Третья: чувствительные данные забываются во время подготовки и в неизменном виде выгружаются в таблицу. Отделение выполняют в ходе подготовки данных, а не откладывают на потом.
Успех ИИ-проекта во многом зависит от того, как подготовлены данные: что есть, кому это принадлежит, насколько надёжно, какую часть можно показывать и отвечает ли система правильно. Если начать с одной небольшой темы и последовательно выстроить инвентаризацию, очистку, отделение чувствительных данных и тестовый набор, снижаются и риск, и стоимость. Если вы хотите вместе проверить, насколько ваши данные готовы к ИИ, мы будем рады провести с вами ознакомительную встречу: договориться о ней с rabbitclip можно в любое время.
Частые вопросы
Сколько данных нужно ИИ-проекту?
Это сильно зависит от задачи. Если вы опираете ассистента на собственные документы, актуальность и согласованность важнее объёма; небольшой чистый набор нередко работает лучше большого неряшливого.
Можно ли начать, если мои данные разбросаны?
Можно, с одной темы. Сначала соберите и очистите данные по этой теме, а затем расширяйте; попытка исправить всё сразу, как правило, изматывает проект.
Безопасно ли показывать ИИ данные клиентов?
Самое безопасное это не показывать их, пока в этом нет необходимости. Если необходимость есть, замаскируйте их, сузьте доступ и выясните, хранит ли их сервис. По вопросам GDPR обратитесь к юристу.
Зачем нужен тестовый набор?
Он позволяет измерять, работает ли система, снова и снова задавая одни и те же вопросы, а не полагаясь на впечатление. Когда вы меняете данные или инструмент, улучшение или ухудшение становится видимым.
