Рубрика «llm» - 100

В IT-сообществе не утихают споры о ценности формального образования. Одни считают, что только фундаментальное образование формирует инженерное мышление. Другие уверены, что самоучки не уступают выпускникам вузов благодаря свободному доступу к фреймворкам и онлайн-ресурсам. Мы в Artezio провели круглый стол с экспертами отрасли и собрали аргументы с обеих сторон и разобрались, кого ищут работодатели в эпоху, когда код пишут LLM.

Читать полностью »

Для меня халява — это гарантированный результат за вложенные усилия. Логика повествования требует такого определения, дальше всё будет ясно.

Халяве учили и учат в школе. Сделай домашнее по алгебре, выучи стихотворение, научись решать линейные уравнения — и получишь пятерку, то есть лучшее из возможного. Любовь получать пятерки сыграла злую шутку со многими, ведь в жизни вне учебных заведений халявы практически нет.

Слово «легко» ниже по статье тоже означает гарантированный результат за усилия, но подразумевается «легко, если умеешь работать с собственной мотивацией».

Читать полностью »

Обратите внимание: этот материал публикуется впервые и ранее нигде не размещался, включая личные блоги, социальные сети и другие платформы.

Пролог на 3 033 знака (да, я посчитал)

Меня зовут Владимир Летуновский, и у меня есть две особенности.
Первая: мне тринадцать, и я искренне считаю, что vkCmdPipelineBarrier— это идеальный подарок на день рождения.
Вторая: все вокруг уверены, что школьники должны играть в Fortnite или — на худой конец — делать домашку, а я вместо этого выращиваю собственный игровой движок на C++ 20 + Vulkan 1 .3, да ещё и обучаю мультимодальную LLM, которая самаЧитать полностью »

Некоторые люди предпочитают пользоваться не только облачными сервисами, но и запускать LLM у себя дома. Например, так можно запустить дообученные модели без цензуры, или не посылать в облако свои личные документы. А то и запускать бесчеловечные эксперименты над LLM так, чтобы superintelligence/skynet потом это не припомнил.
Как запустить локально LLM, если ее веса не помещаются в [видео]память - 1

Есть много моделей, оптимизированых для быстрой работы на устройствах с небольшой памятью. Но к сожалению, веса самых продвинутых моделей, которые играют в одной лиге с лучшими онлайн моделями, занимают сотни гигабайт. Например, 8-битные веса Deepseek R1-671B занимают 700 гигабайт, квантованые q4 — 350 гигов. Можно квантовать и в 1 бит, размер тогда будет около 90 гигов, но такая модель почти бесполезна. Еще есть много качественных finetunes на основе Mistral-Large-instruct-130B, Qwen2.5-72B, llama3.3-70B, веса которых также не помещаются в память старших моделей видеокарт.

Читать полностью »

Рассмотрим техники построения и улучшения RAG систем: от нарезания текстов на куски, до продвинутых способов улучшения качества ответа.

Этим блогом можно пользоваться как шпаргалкой для проектирования своего RAG-а и/или для подготовки к собеседованиям.

Все полезные ссылки и материалы, на которые я опирался будут в конце.

Что такое RAG и зачем нужен

RAG - это фреймворк взаимодействия предобученной LLM с базой знаний. То есть при ответе LLM на запрос пользователя модель отвечает используя актуальный контекст из базы и свои pre-trained знания.

Читать полностью »
Персонализируем контент с помощью ИИ - 1

Всем привет! Меня зовут Анастасия Шмалько, я лидер команды «AI-Персонализация контента» в Сбере. Сегодня я расскажу о том, как с помощью LLM и машинного обучения мы персонализируем рекламные SMS для корпоративных клиентов.

Читать полностью »

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (первую часть см. здесь) Во второй части авторы разбирают технологии оптимизации поиска и извлечения данных. Поскольку материал я готовил в первую очередь для начинающих ИТ-переводчиков, сложные и специальные термины я сопровождал английским переводом и краткими пояснениями в инфобоксах (появляются по наведению курсора). Картинок не было, не обессудьте.


Читать полностью »

Недавно в X (Твиттере) один пользователь задался вопросом - сколько денег OpenAI потеряла из-за того, что люди говорят своим LLM спасибо и пожалуйста (не дословно). Сэм Альтман ответил на это: "tens of millions of dollars well spent--you never know", что можно перевести как: "десятки миллионов долларов были потрачены не зря, никогда не знаешь [на чем выиграешь].

Читать полностью »

От переводчика

Представляю вашему вниманию заключительную, третью часть перевода статьи "Prompt Engineering" (Промпт-инжиниринг) авторства Lee Boonstra — Software Engineer Tech Lead, Office of the CTO в Google. Этот материал завершает цикл публикаций, посвященных эффективному взаимодействию с большими языковыми моделями.

В первой части мы познакомились с основами промпт-инжиниринга и базовыми техниками промптинга. Во второй Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js