Привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа (UK). В начале апреля я запустил llm7.io - полностью бесплатный LLM-провайдер, совместимый с популярными библиотеками chat completion. Цель была простая: проверить, насколько эффективно можно построить отказоустойчивую архитектуру под настоящую high-load-нагрузку, и при этом дать всем желающим доступ к мощным языковым моделям - без регистрации, API-токенов, смс и прочих барьеров.
Рубрика «llm» - 98
Полмиллиона запросов за месяц: мой LLM-challenge и первые выводы
2025-05-15 в 8:16, admin, рубрики: chatgpt, llm, llm-модели, llm-приложения, mistral, provider, searchgptПредистория
Недавно, просматривая YouTube наткнулся на канал IBM Technology с серией свежих видео на тему искусственного интеллекта. Учитывая, с какой скоростью развивается эта область, подобные материалы могут быть по‑настоящему ценными, особенно круто если можно понять «ценность» до начала просмотра.
Прежде чем смотреть что‑либо целиком, я делаю краткое саммари: использую встроенные транскрипции YouTube (либо youtube‑transcript.io), а затем обрабатываю текст с помощью GPT‑4o. Один из таких выпусков привёл меня к упоминанию книги AI Value CreatorsЧитать полностью »
LLM-судья: как LLM отсекает правду от лжи?
2025-05-14 в 11:10, admin, рубрики: AI, ai agent, chain of thoughts, llm, qa, rag, ИИ, искусственный интеллект
LLM-as-a-judge — распространённая техника оценки продуктов на основе LLM.
Популярность этой техники обусловлена практичностью: она представляет собой удобную альтернативу дорогостоящей человеческой оценке при анализе открытых текстовых ответов.
Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes
2025-05-12 в 8:35, admin, рубрики: AI, deckhouse kubernetes platform, gpu, kubernetes, llm, ml, pci passthrough, proxmoxПривет! Меня зовут Александр Подмосковный, я работаю в Московском кредитном банке и, как многие, увлёкся темой искусственного интеллекта. Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Так как DevOps и инфраструктурой я увлекаюсь уже несколько лет, за это время у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею.
Данные за апрель 2025. Расклад в главной мировой гонке века следующий. Отранжировано по убыванию.
1. ChatGPT — 5,1 млрд. (!) визитов в месяц. Абсолютное доминирование.
2. DeepSeek от китайцев — 480 млн. Хороший ответ с новой архитектурой и открытостью кода. Но в сравнении с прошлыми месяцами трафик плавно идет на спад. Возможен скорый рост, за счет интеграции в потребительскую робототехнику, в которую активно ринулись большинство автопроизводителей Поднебесной.
3. Gemini от GoogleЧитать полностью »
Языковые модели против мошенников: как LLM помогают бороться с отмыванием денег и финансовым мошенничеством
2025-05-11 в 19:57, admin, рубрики: AF, aml, llm, антифрод, большая языковая модель, финансовое мошенничество«Покажи мне данные — и я скажу, где прячется обман»
— современный LLM
С ростом цифровизации банковских услуг злоумышленники становятся всё изощрённее: от схем отмывания денег через фиктивные юрлица — до автоматизированных атак через фишинг, подмену номеров, скимминг и социальная инженерия. Бизнес теряет миллиарды, клиенты — доверие. В этих условиях защитные технологии — уже не просто брандмауэр, а целый арсенал аналитических систем.
Две ключевые линии обороны в банках:
-
Antifraud (AF): защита от мошенничества (например, кража банковской карты или аккаунта);
Проводим слепой тест переводов прямо на Хабре
2025-05-10 в 19:18, admin, рубрики: chatgpt, llm, перевод, перевод с английскогоХорошие переводчики переводят хорошо. А как насчет нейросетей?
Пользователь @antptr86 сделал в комментариях классную вещь - для чистоты эксперимента он выложил несколько вариантов перевода одного абзаца из "Дюны", и предложил их оценить вслепую, без знания источников.
Мне показалось это крайне занимательным, и поэтому я решил сделать из этого небольшую статью и голосование для читательов в конце.
Промпт-инжиниринг на основе здравого смысла: как понимать LLM и получать от них предсказуемый результат
2025-05-10 в 13:01, admin, рубрики: llm, генерация кода, ИИ, искусственный интеллект, промпт-инжинирингПредисловие
В комментариях к моей предыдущей статье многие просили рассказать, как я использую ИИ для написания кода. 80-90% моих строк на последних проектах написаны через LLM, при этом мне удается с первой генерации по сравнительно небольшому промпту получать вплоть до 500-1000 строк комплексной бизнес логики, к тому же крайне высококачественной и полностью соответствующей стилю кода проекта. Мне кажется, ИИ вообще пишет код лучше, чем я на первом проходе: он допускает меньше багов, и его код сразу хорошо отрефакторен.


