Обработка документов с ИИ: чтение счетов и договоров
Как работает обработка документов с помощью ИИ для счетов, форм и договоров: извлечение данных, управление ошибками, проверка человеком и защита файлов.
Команда rabbitclipПубликация: 5 мин чтения
Коротко
Обработка документов с помощью ИИ означает чтение текста счёта, формы или договора, извлечение из него таких полей, как сумма, дата, стороны и пункты, и перенос их в таблицу или внутреннюю систему. От прежнего распознавания символов она отличается тем, что может находить поле по смыслу, даже когда меняется вёрстка. И всё же она читает правильно не каждый документ: размытый скан, рукописный текст или необычный шаблон приведут к ошибкам. Поэтому грамотно выстроенная система показывает неуверенные поля человеку и защищает чувствительные документы.
Читать документы утомительно, а ошибиться при этом очень легко, поэтому именно эта работа становится одним из первых кандидатов на автоматизацию в любой компании. Но облегчение, которое приносит скорость, не отменяет необходимости проверять точность. Дальше мы расскажем, какие документы подходят для такого подхода, как управлять ошибками, которые неизбежно возникают, и как защищаются персональные данные внутри документа.
Чем чтение с помощью ИИ отличается от классического OCR?
Классический OCR превращает символы на изображении в текст и на этом останавливается. Он не знает, какая часть текста является итоговой суммой, а какая сроком оплаты; обычно эту задачу решают, закрепляя положения полей для конкретного шаблона. Когда шаблон меняется, чтение просто ломается.
Чтение на основе ИИ толкует текст по смыслу: оно может найти итоговую сумму в счетах разных поставщиков, даже если она записана в разных местах. За эту гибкость приходится платить: результат не бывает каждый раз одинаковым, а модель способна выдать правдоподобно выглядящее значение даже для поля, в котором она не уверена. Поэтому дополнительно вводят проверки на основе правил, чтобы убедиться в согласованности считанных данных между собой.
Какие документы подходят для чтения с помощью ИИ?
Лучше всего подходят документы, которые поступают в большом количестве, то есть потоком, похожи по структуре и в которых неверное значение можно заметить: счета поставщиков, бланки заказов, анкеты и заявления, накладные. Хорошим примером служат ежемесячные счета, которые сеть спа получает от десятков поставщиков; каждый выглядит по-своему, но несёт одни и те же пять-шесть полей.
Договоры это совсем другое дело. ИИ может найти и кратко изложить стороны, срок и пункт о расторжении, но не стоит ждать от него толкования юридической силы того или иного пункта. Его результат служит лишь первым прочтением документа; обязательная оценка принадлежит юристу.
- Счета поставщиков: сумма, налог, срок оплаты, номер заказа
- Заявления и регистрационные формы: имя, дата, отмеченные варианты
- Накладные: товар, количество, дата
- Договоры: только первая сводка и поиск пунктов, но не юридическое толкование
- Рукописный текст и плохие сканы: только при усиленной проверке человеком
Как управлять ошибками?
Ошибку не сводят к нулю, а делают видимой. Для каждого считанного поля система записывает, насколько она была в нём уверена, и поля ниже порога попадают к человеку. Критичные поля, например сумма, дополнительно проверяются по правилам: сходятся ли позиции с итогом, правдоподобна ли налоговая ставка, не вносился ли уже этот номер счёта.
Качество отслеживают и со временем. Каждый месяц случайную выборку документов читают вручную и сравнивают с тем, что извлекла система; типы документов, на которых она ошибается, отмечают и проверяют строже. Общий показатель ошибок здесь ввёл бы в заблуждение, потому что он заметно меняется в зависимости от типа документа, качества и используемой системы.
Где должна остаться проверка человеком?
Если считанные данные запускают платёж, запись или обязательство, человек утверждает их до того, как всё сработает. Обычный типовой документ с небольшой суммой, подтверждённый правилами, может пройти сразу, без остановки; документ с большой суммой, документ от нового поставщика или документ, противоречащий правилам, задерживается.
На практике процесс идёт так: система читает документ, записывает поля в таблицу и помещает документ в очередь на проверку, если уверенность низка или нарушено правило. Проверяющий видит оригинал рядом с извлечёнными полями и исправляет лишь сомнительное. Время человека тратится на неуверенные документы, а не на каждый документ без разбора.
Как защищаются чувствительные данные в документах?
Счета, формы и договоры могут содержать номера удостоверений личности, адреса, банковские реквизиты и коммерческую тайну. Прежде чем отправлять документ во внешний сервис ИИ, в договоре и настройках должно быть ясно, куда уходят данные, хранятся ли они там и используются ли для обучения модели.
Где возможно, ненужные поля маскируются до отправки документа; доступ открывается только тем, кто выполняет работу, а каждое чтение записывается в журнал. Срок хранения документов тоже определяется в самом начале работы. Об обязанностях по GDPR здесь нельзя вынести категоричное суждение; прежде чем обрабатывать документы с персональными данными, проконсультируйтесь с юристом.
Когда обработка документов с помощью ИИ это неверный выбор?
Если документов мало, скажем, всего двадцать счетов в месяц, вносить их вручную или пользоваться простым инструментом с шаблонами дешевле и безопаснее. Усилия на настройку и проверку вполне могут превысить то время, которое удалось сэкономить.
Там, где каждый документ влечёт юридические последствия, а ошибка обходится дорого, ИИ тоже не должен быть единственным читателем. Здесь он служит самое большее вторым взглядом, инструментом, который сопровождает чтение человека, а не заменяет его. Решение и ответственность остаются за самим человеком.
Какие ошибки допускают чаще всего?
Первая ошибка: запускать систему, не измерив качество. До настройки около ста реальных документов нужно прочитать вручную и сравнить с результатом системы; не зная, на каких типах документов она ошибается, доверия к ней не построить.
Вторая ошибка: записывать извлечённые данные в бухгалтерию или систему учёта запасов без проверки. Стоит неверной сумме попасть туда, заметить её позже гораздо труднее. Третья: не знать, куда отправляется документ. Условия бесплатного инструмента могут разрешать хранить документы или использовать их для обучения. Внимательно прочитайте условия, прежде чем им пользоваться.
Обработка документов с помощью ИИ заметно ускоряет однообразное повторяющееся чтение, но не свободна от ошибок. При правильной настройке неуверенные поля уходят к человеку, критичные поля проверяются по правилам, а чувствительные документы защищает узкий доступ. Если вы хотите вместе выяснить, какие из ваших документов для этого подходят, мы будем рады провести с вами ознакомительную встречу: договориться о ней с rabbitclip можно в любое время.
Частые вопросы
ИИ всегда правильно читает сумму в счёте?
Нет, не всегда. Он может ошибиться на размытом скане, необычном шаблоне или рукописном тексте. Именно поэтому такие поля, как сумма, проверяются по правилам, а считывания с низкой уверенностью показываются человеку.
Может ли ИИ прочитать договор и одобрить его?
Он может найти и кратко изложить такие пункты, как стороны, срок и расторжение, но не способен истолковать их юридическую силу. Обязательная оценка должна оставаться за юристом.
Безопасно ли отправлять документы в сервис ИИ?
Это зависит от того, хранит ли сервис сам документ, использует ли его для обучения модели и где именно обрабатываются данные. Сначала прочитайте условия, замаскируйте ненужные поля и при сомнениях спросите юриста.
Стоит ли это делать при небольшом числе документов?
Как правило, нет. При малых объёмах вносить документы вручную или пользоваться простым инструментом с шаблонами дешевле и безопаснее.
