ИИ смог выявить 93% контрольных дефектов в проектной документации
Для исследования один и тот же комплект из 40 страниц несколько раз проверяли с помощью разных ИИ-моделей и сценариев. Всего специалисты провели семь тестов. Для сопоставления результатов был сформирован контрольный набор из 14 заранее известных дефектов. В него вошли расхождения между чертежами и спецификациями, ошибки в размерах и арифметике, неправильные ссылки между листами, несоответствия массы и количества элементов, а также противоречия между отдельными листами и сводными ведомостями.
Лучший результат показала GPT-6 Astra. Она обнаружила 13 из 14 контрольных дефектов, то есть около 93%. Всего система сформировала 23 замечания, из которых 21 подтвердил инженер, одно оказалось спорным и только одно ложным. Таким образом, подтверждаемость результатов составила около 91%.
При этом эксперимент показал большой разрыв между возможностями разных моделей. Так, локальная мультимодальная Qwen3-VL 8B сформировала сразу 47 замечаний, однако после экспертной проверки подтвердилось только одно, а из 14 контрольных дефектов модель обнаружила частично один дефект. Один из лучших прогонов GPT-5.6-sol, напротив, сформировал 12 замечаний, все они подтвердились, однако модель нашла только 8 из 14 контрольных проблем.
Эксперимент также показал, что результат зависит не только от мощности нейросети, но и от способа организации проверки. В четырех запусках одной и той же GPT-5.6-sol на одном комплекте документации система находила от 5 до 12 замечаний. Поэтому для инженерного применения недостаточно передать нейросети документы с общей командой «проверить проект»: разные типы ошибок необходимо искать по отдельным сценариям, а полученные результаты сопоставлять и перепроверять.
«Наиболее важный результат эксперимента для нас заключается не в количестве замечаний, которые способен сформировать ИИ. Если нейросеть выдает десятки ложных ошибок, инженер потратит больше времени на их проверку, чем сэкономит. Практическая ценность появляется тогда, когда одновременно растут два показателя: доля обнаруженных реальных проблем и точность самих замечаний. Результат в 13 из 14 контрольных дефектов при подтверждаемости свыше 90% показывает, что технология уже может использоваться как первый уровень проверки документации», - говорит Александр Попов, технический директор SIGNAL.
Нейросети уже способны сопоставлять данные на разных листах, сравнивать локальные спецификации со сводными ведомостями, находить расхождения в количестве и массе элементов, проверять перекрестные ссылки и выявлять аномальные значения. Например, система может обнаружить отличие массы одного изделия от данных сводной спецификации и проследить влияние расхождения на итоговый показатель конструкции.
При этом полностью заменить инженера-проверяющего ИИ пока не может. Одним из наиболее сложных направлений остается проверка документации на соответствие нормативам: при самостоятельной интерпретации требований СП и других нормативных документов возрастает риск ложных замечаний. Разработчики считают более надежной модель, при которой ИИ обнаруживает потенциальное несоответствие, система сверяет его с контролируемой базой нормативов, а окончательное решение принимает специалист.
В SIGNAL рассчитывают использовать ИИ именно для предварительного контроля. Сейчас разработанный компанией ИИ Checker существует как отдельное приложение, следующий этап предполагает его интеграцию непосредственно в среду общих данных SIGNAL DOCS. В таком сценарии документацию сначала будет автоматически проверять ИИ, после чего инженер получит комплект уже с отмеченными потенциально проблемными местами и сможет подтвердить или отклонить замечания.
По оценке разработчиков, основной экономический потенциал технологии связан не с заменой специалиста, а с сокращением объема рутинной работы: сверки десятков листов, спецификаций, ссылок, количественных показателей и повторяющихся значений. Однако оценивать конкретный рост производительности пока преждевременно: для этого технологию необходимо протестировать на большем количестве проектов и разделов документации.



Комментарии