Новая линейка моделей GigaEmbeddings в открытом доступе Бесплатные модели под лицензией MIT, перево
AI Summary
Новая линейка моделей GigaEmbeddings теперь доступна в открытом доступе под лицензией MIT. Эти бесплатные модели преобразуют текст в векторы для RAG-систем и поиска по смыслу, демонстрируя улучшенные результаты на английском и в задачах с кодом. В линейке представлены три размера моделей, включая флагманскую версию на 10B параметров, которая заняла первое место в соревновании ruMTEB и значительно ускорила инференс.
Новая линейка моделей GigaEmbeddings в открытом доступе
Бесплатные модели под лицензией MIT, переводят текст в векторы для RAG-системы и поиска по смыслу. Стали сильнее на английском языке и особенно в задачах с кодом, получили поддержку vLLM и SGLang и подходят для разных требований к качеству и производительности. На выбор дали три размера — от совсем легкой 480M до флагмана на 10B.
При обучении гоняли открытые датасеты Nemotron, F2LLM и KALM, плюс использовали дистилляцию для младшей версии. В итоге 10B-A1.8B взяла первое место в ruMTEB и ускорила инференс в два раза, 3B прибавила 14,5 пункта в коде, а 480M стала лучшей на русском среди малопараметрических моделей.
@ai_newz
Related News
RAG-бот для любого сайта на Python за 60 строк кода
Создан простой RAG-бот на Python, который способен читать текст с любой веб-страницы и отвечать на вопросы, основываясь только на этой информации. Полный гайд включает код и объяснения, позволяя разработать бота всего за 60 строк кода.
How loveholidays is making everyone a builder with Codex
Компания loveholidays использует OpenAI Codex для упрощения процесса разработки программного обеспечения, делая его доступным для всех сотрудников. Это позволяет командам быстрее превращать идеи в готовые продукты.
Training and Finetuning Multi-Vector Embedding Models with Sentence Transformers
В статье рассматривается процесс обучения и дообучения многовекторных эмбеддинговых моделей с использованием Sentence Transformers. Авторы описывают методы, позволяющие улучшить качество представления текстов, а также делятся практическими рекомендациями по настройке моделей для различных задач обработки естественного языка. Основное внимание уделяется эффективности и гибкости подходов в контексте современных требований к машинному обучению.