TL;DR: Мы провели бенчмаркинг семи методов, направленных на предотвращение эмерджентного рассогласования и других форм некорректного обобщения с использованием ограниченного объёма alignment-данных. Мы демонстрируем устойчивый трейдофф между способностями модели и согласованием, подчеркивая необходимость более эффективных методов для снижения этого конфликта. Простое включение alignment-данных в микс обучающих данных оказывается недостаточным для предотвращения рассогласования, однако простое наложение KL Divergence penalty на alignment-данные показывает лучшие результаты, чем более сложные подходы.
Рубрика «lora» - 2
Селективная генерализация: улучшение возможностей при сохранении alignment
2025-09-19 в 11:01, admin, рубрики: AI, alignment, Fine-tuning, large language model, llm, lora, ИИ, ПаретоКак служба поддержки ЮMoney научилась общаться с пользователями из разных стран, не зная их языка
2025-08-28 в 13:45, admin, рубрики: ai-ассистент, llm-агент, lora, детекция текста, машинный перевод, трансформерыПривет. Мы – Даша (инженер машинного обучения) и Наташа (ведущий аналитик в ЮMoney). В этой статье расскажем о системе машинного перевода, разработанной как end-to-end-решение для многоязычной поддержки в финтех-компании. Рассмотрим архитектуру, технические детали реализации и практические результаты внедрения системы. А ещё покажем, как общались с пользователем из Казахстана.
Практическое руководство по реализации LoRa-связи точка-точка между модулем LoRa1120 и ESP32
2025-08-26 в 6:06, admin, рубрики: arduino, DIY, esp32, IoT, lora, LoRaWAN, LR1120, SPI, беспроводная связь, микроконтроллерыI. Техническое введение в многорежимный приемопередатчик LoRa1120
Ядром модуля LoRa1120 является чипсет LR1120 от Semtech, интегральная схема, разработанная специально для беспроводной связи на большие расстояния с низким энергопотреблением и для приложений геолокации ¹. Перед началом разработки реальных приложений ключевым фактором успеха является глубокий анализ основных технических возможностей этого модуля. Это не просто LoRa-приемопередатчик, а комплексная платформа, объединяющая несколько режимов связи и функции позиционирования.
Работа в нескольких частотных диапазонах
QTune — open-source решение для быстрого файн-тюнинга моделей
2025-08-17 в 5:56, admin, рубрики: AI, finetuning, lora, ml, python, qlora, ИИ, машинное обучениеСегодня я хочу рассказать о своем проекте QTune. Это open-source приложение с графическим интерфейсом, которое превращает сложный и требовательный процесс файнтюнинга в понятный и управляемый процесс, доступный каждому. Это не просто набор скриптов, а полноценная студия, охватывающая весь цикл: от создания датасета до запуска готовой модели локально.
Философия простоты: от идеи до модели без единой строчки кода
Главная идея QTune - предоставить полный контроль над процессом в рамках единого, интуитивно понятного интерфейса. Весь процесс разбит на логические этапы, представленные в виде вкладок в приложении.
От понимания файнтюнинга LLM до файнтюнинга мультимодальных моделей
2025-07-08 в 8:15, admin, рубрики: AdaLoRA, BitFit, llm, lora, P-Tuning, PEFT, qlora, дообучение, методыText-to-LoRA: мгновенная адаптация трансформеров
2025-07-06 в 13:46, admin, рубрики: AI, finetuning, Hypernetwork, llm, lora, ml, sakana, TextToLoRA😎 Следуй за белым кроликом 💊
📌 Telegram @TheWeeklyBrief — краткие обзоры и подкасты 📰🎧🐇
📌 GitHub Pages — углублённый разбор статей, ныряем в кроличью нору 📝💻🐾
Аннотация
Исследователи Sakana AI разработали Text-to-LoRA (T2L)Читать полностью »
Эффективный инференс множества LoRA адаптеров
2025-06-27 в 8:19, admin, рубрики: async inference, benchmark, inference, lora, multilora, offline inference, PEFT, tensorrt, TensorRT-LLM, vllmLoRA — популярный метод дообучения больших моделей на небольших датасетах, однако на этапе инференса низкоранговые адаптеры работают неэффективно, а их объединение с весами требует хранения отдельной полной копии модели для каждого адаптера.
MultiLoRA решает эту проблему, позволяя одновременно выполнять инференс с несколькими адаптерами на основе одной базовой модели.
В статье мы сравним производительность MultiLoRA-инференса в двух популярных фреймворках — vLLM и TensorRT-LLMЧитать полностью »
Хорошая девушка LoRA! А чем же она хороша?
2025-06-09 в 13:20, admin, рубрики: deep learning, lora, LoRA Fine-tuning, machine learning, nlpПоговорим об методике дообучения LLM… спортсменке, комсомолке и просто красавице - LoRA, которая если и не снимается в кино, то может сделать фильмы качественней и интереснее для зрителя. Исторические данные проката и состава творческих групп в перспективе позволяют работать с ансамблевыми моделями машинного обучения для прогнозирования сборов и просмотров в кино, и улучшать данные и путем их подбора «гиперпараметров»Читать полностью »
«Ошибка на миллиард» в ИИ: боремся с галлюцинациями в LLM по аналогии с NullPointerException
2025-03-18 в 10:13, admin, рубрики: deepseek, llm, lora, saiga, галлюцинации, ИИ, модели, нейросетиПривет! Меня зовут Денис Березуцкий, я старший инженер по разработке ПО искусственного интеллекта в YADRO. В ML-команде мы разрабатываем системы, которые облегчают работу нашим заказчикам с помощью текстовых генеративных нейросетей: реализуем Читать полностью »