🤯 Стэнфорд научил ИИ-агентов проверять самих себя Исследователи из Стэнфорда предложили LLM-as-a-V
AI Summary
Исследователи из Стэнфорда разработали метод LLM-as-a-Verifier, который позволяет ИИ-агентам самостоятельно проверять свои решения, улучшая их эффективность без необходимости дообучения. В тестах на Terminal-Bench 2.1 новый подход увеличил точность DeepSeek V4 Flash с 79% до 88%, при этом оказавшись в 11 раз дешевле. Фреймворк доступен бесплатно и с открытым кодом.
🤯 Стэнфорд научил ИИ-агентов проверять самих себя
Исследователи из Стэнфорда предложили LLM-as-a-Verifier — метод, который улучшает работу агентов без дообучения. Суть: модель генерирует несколько вариантов решения, а потом сама выбирает лучший.
В тестах на Terminal-Bench 2.1 результат DeepSeek V4 Flash вырос с 79% до 88% — выше, чем у Claude Sonnet 3.5. При этом метод оказался примерно в 11 раз дешевле на задачу. Фреймворк бесплатный и с открытым кодом.
🔗 https://github.com/llm-as-a-verifier/llm-as-a-verifier#self-verification-terminal-bench-21
Related News
В России измерили частотность ошибок при программировании на разных языках. В лидерах Python, Java, PHP, C#
В России проведено исследование частотности ошибок при программировании, в ходе которого было проанализировано 550 миллионов строк кода, что привело к выявлению 3 миллионов уязвимостей. Лидерами по количеству уязвимостей стали языки Python, Java и PHP. Основной причиной роста числа ошибок эксперты называют практику "вайбкодинга".
BI.Zone: уязвимость в GitLab позволяет удаленно изменять и удалять публичные проекты без аутентификации
В GitLab обнаружена уязвимость, позволяющая удаленно изменять и удалять публичные проекты без необходимости аутентификации. Согласно данным BI.Zone EASM, в российском сегменте интернета насчитывается более 9,3 тыс. публичных GitLab-сервисов, часть из которых может быть подвержена этой угрозе.
«Нанософт» выпустила новый продукт «nanoCAD ММГ»
Компания «Нанософт» представила новый продукт «nanoCAD ММГ», предназначенный для автоматизации проектирования в области САПР и ТИМ. Этот инструмент обещает улучшить эффективность работы специалистов в данной сфере.