VorobeoffЮристу мало получить от ИИ подходящую цитату из закона. Ему нужен результат, с которым можно работать: проверенный договор, разбор доказательств или список требований для запуска продукта. Z.ai представила GLM-Legal, версию GLM-5.3-Flash, дополнительно обученную юридическим задачам.
На тесте Harvey LAB модель полностью справилась с 19,2% сложных заданий. На первый взгляд показатель скромный, но здесь проверяют работу с документами в 24 областях юридической практики. Задание засчитывается, только если выполнены все требования. Результат GLM-Legal на 12,5 процентного пункта выше, чем у исходной GLM-5.3-Flash. Прирост заметный, хотя большинство заданий модель по-прежнему не проходит.
На другом тесте, LegalBench, платформа Vals зафиксировала 86,23%. Это близко к результатам ряда ведущих закрытых моделей. Z.ai также сообщает о сопоставимых результатах на PLawBench, тесте по китайскому праву, но подробных независимых данных для этого сравнения пока недостаточно.
Что изменили в GLM-5.3-Flash
Разработчики не ограничились подключением поиска по законам и договорам. Они дополнительно обучали саму модель на юридических текстах и рабочих заданиях. Цель такого подхода — научить её лучше связывать факты, нормы права и требования к готовому документу.
В анонсе Z.ai есть пример проверки договора с поставщиком программного обеспечения. Исходная модель в основном советует пересмотреть условия расторжения. GLM-Legal предлагает конкретные правки: сократить срок уведомления с 60 до 30 дней, отменить время на исправление нарушений требований к конфиденциальности, интеллектуальной собственности и защите данных, предусмотреть возврат результатов работы и помощь при переходе к другому подрядчику. Это пример из демонстрации разработчика, а не подтверждение качества на любых договорах.
Z.ai планирует встроить модель в AutoClaw, свой инструмент для работы с файлами и другими программами. По описанию компании, предложенные изменения можно будет вносить в документы Word в режиме исправлений, чтобы юрист мог их проверить.
Как обучали модель
Обучение шло в два этапа. Сначала разработчики продолжили обучение GLM-5.3-Flash на юридических текстах: законах, договорах и других материалах. Затем использовали обучение с подкреплением. Модель выполняла задания в десятках тысяч учебных ситуаций, приближенных к юридической практике, и получала обратную связь о результате.
Одновременно Z.ai улучшала рабочую среду модели: систему, которая передаёт ей документы, подключает инструменты и помогает выполнять последовательность действий. Если при проверке обнаруживалась ошибка, разработчики выясняли, связана ли она с ответом модели, доступом к нужным сведениям или организацией работы. Эти наблюдения использовали при следующем обучении. Насколько каждый этап отдельно повлиял на итоговый результат, из анонса определить нельзя.
Что показывают тесты и чего они не доказывают
Vals публикует более точный результат Harvey LAB: 19,17% (Z.ai округляет его до 19,2%). На LegalBench модель набрала 86,23% и заняла 14-е место среди 150 участников. Есть и ограничение, которое легко пропустить: по данным Vals, выполнение одного задания Harvey LAB занимало у GLM-Legal в среднем около 1 часа 12 минут. Речь о полном тестовом задании, а не о времени обычного ответа через API.
Результаты тестов не гарантируют, что модель правильно проверит конкретный договор, найдёт все риски или верно применит нормы российского права. Для PLawBench Z.ai заявляет уровень ведущих систем, но сопоставимой подробной таблицы с независимой оценкой в рассмотренных источниках нет.
Пока Z.ai предлагает подать заявку на бета-доступ к GLM-Legal. В официальном анонсе нет прямой ссылки для скачивания файлов модели. При этом Vals обозначает её как модель с открытыми весами, поэтому возможность самостоятельного запуска требует отдельного уточнения. В анонсе также не названы все поддерживаемые языки, юрисдикции и дата общего запуска.
Как проверить модель на практике
Я бы начал с одной повторяющейся задачи, например с проверки типовых договоров. На входе — обезличенный документ и чёткое задание. Модель предлагает правки с объяснениями, а юрист оценивает, что найдено, что пропущено и сколько времени ушло на проверку и исправления. Лучше взять несколько документов с заранее известными проблемами, чтобы не судить о качестве по одному удачному ответу.
Перед работой с реальными документами клиентов нужно проверить условия обработки и хранения данных. Даже высокий балл на LegalBench не снимает с юриста ответственности за готовый результат.
Почему релиз заслуживает внимания
GLM-Legal показывает, насколько дополнительное обучение под конкретную профессию может улучшить исходную модель. По результатам отдельных юридических тестов она приблизилась к более крупным и дорогим системам. Но говорить о доказанной экономии времени и денег пока рано. Для этого нужны испытания на реальных задачах, с учётом скорости работы, пропущенных ошибок и времени юриста на проверку.
Ссылки
- Сайт: GLM-Legal — официальный анонс Z.ai
- Сравнение: GLM-Legal — результаты тестов Vals
