Рубрика «SFT»
Как дообучать LLM с помощью Supervised Fine-Tuning
2024-08-12 в 13:34, admin, рубрики: data annotation, data labeling, dataset, Fine-tuning, llm, SFT, машинное обучение, разметка данных
Обычно большие языковые модели (large language model, LLM) обучают в несколько этапов, включающих предварительное обучение и множество этапов fine-tuning (см. ниже). Предварительное обучение — это дорогостоящий процесс (например, требующий многих сотен тысяч долларов на вычислительные ресурсы), однако fine-tuning модели LLM (или контекстное обучение) по сравнению с этим гораздо дешевле (например, сотни долларов или даже меньше). Учитывая широкую доступность и бесплатность (даже для коммерческого использования) предварительно обученных LLM (например, MPT, Falcon или LLAMA-2), мы можем создавать большой спектр мощных приложений благодаря fine-tuning моделей под нужные задачи.
Этапы обучения LLM
На текущем этапе исследований ИИ одним из самых широко применяемых видов fine-tuning моделей LLM стал supervised fine-tuning (SFT). При этой методике курируемый датасет высококачественных выходных данных LLM применяется для непосредственного fine-tuning модели. SFT прост и дёшев в использовании, это полезный инструмент выравнивания языковых моделей, ставший популярным даже за пределами исследовательского сообщества опенсорсных LLM. В этой статье мы вкратце расскажем о принципах SFT, рассмотрим исследования по этой теме и приведём примеры того, как практикующие специалисты могут с лёгкостью пользоваться SFT, написав всего несколько строк кода на Python.
Читать полностью »
Я тебя вижу: как не заблудиться в экранах смартфонов?
2016-12-26 в 11:47, admin, рубрики: amoled, CSTN, DSTN, FSTN, Gorilla Glass, ips, lcd, oled, pls, SFT, STN, tft, tn, Блог компании Gearbest.com, гаджеты, Мониторы и ТВ, планшеты, смартфоны, экраны, метки: Экраны
До появления на рынке устройств с цветными экранами мобильные телефоны, как правило, оценивали по двум критериям: дизайн и функциональность (ну и чтобы полифония с рингтонами была, конечно). Но когда смартфоны получили массовое распространение, пользователи начали обращать внимание, что у кого-то дисплей ярче, где-то цвета сочнее, а на некоторые экраны вообще не хочется смотреть. Со всеми этими обозначениями вроде IPS, Retina, AMOLED и TFT запутаться можно, так что попробуем разобраться, где же трава зеленее (в прямом смысле). Если тоже хотите это узнать, приглашаем под кат.
Читать полностью »