Конвейер данных (Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно.
Рубрика «бэкенд» - 2
Что такое конвейер данных? И почему вы должны это знать
2025-04-14 в 10:02, admin, рубрики: бэкенд, данные, конвейер, пайтон, ПрограммированиеСмотрим «под капот» бэкенда изображений в ОК
2025-01-16 в 12:25, admin, рубрики: CDN, highload, архитектура, бэкенд, микросервисы
Ни одна современная соцсеть не обходится без картинок и фото. ОК — не исключение. Но чтобы пользователи соцсети могли загружать свои фото, ставить аватарки и иначе использовать свои изображения, нужны отлаженные механизмы и целый стек обработки на стороне бэкенда.
Как мы ускорили работу инженеров и обслуживание клиентов с помощью новой DCIM-платформы
2025-01-10 в 8:00, admin, рубрики: DCIM, selectel, UI, UX, бэкенд, визуализация, интерфейсы, фронтенд
Привет! В распоряжении Selectel находится более десятка серверных в трех разных локациях. Чтобы контролировать состояние оборудования, мы используем самописную DCIM-платформу — ранее уже рассказывали, почему решили разработать ее сами, а не купить готовое решение. Недавно мы обновили ее, изменили интерфейс и добавили новые функции. Меня зовут Вячеслав Литвинов, я руковожу направлением DCIM в отделе систем управления инфраструктурой Selectel. В этой статье расскажу, к чему это привело.Читать полностью »
Интернационализация (i18n) бэкенда в Express с использованием Intlayer
2024-12-19 в 6:15, admin, рубрики: express, i18n, Intlayer, node.js, бэкенд, интернационализация, локализация, международная поддержка, многоязычный API, разработка apiВсем привет!
Недавно мне понадобилось добавить поддержку нескольких языков в API на базе Express. Я решил поделиться кратким руководством для тех, кто хочет сделать свой бэкенд отвечающим переведенным контентом в зависимости от предпочтительного языка пользователя.
Зачем интернационализировать ваш бэкенд?
Вот несколько практических примеров использования интернационализации на бэкенде:
-
Отображение ошибок бэкенда на языке пользователя:Читать полностью »
Полезные фичи С++ на примере организации пайплайна
2024-10-30 в 7:01, admin, рубрики: бэкенд, микросервисы, С++, С++20
Почему я скептично отношусь к переписыванию JS-инструментов на «быстрых» языках
2024-10-25 в 13:01, admin, рубрики: Go, javascript, jit, node.js, Rust, ruvds_перевод, webassembly, zig, бэкенд, веб-приложения, оптимизация, Программирование
Я написал много JS-кода, и мне нравится JavaScript. Самое же главное, я выработал необходимые навыки для понимания, оптимизации и отладки этого кода, от которых не хочу отказываться.
Поэтому у меня вполне естественно возникает беспокойство по поводу охватившей сферу разработки одержимости переписывать каждый инструмент Node.js на быстрых языках вроде Rust, Zig, Go и прочих. Причём ценность этих языков я нисколько не преуменьшаю. Я даже принимал некоторое участие в разработке Servo, да и на столе прямо сейчас передо мной лежит книга по Rust. Но в целом основную часть своей карьеры я вложил в освоение всех нюансов JavaScript, и на данный момент этот язык для меня самый удобный.
Так что я признаю свою предвзятость (и, возможно, чрезмерный акцент на одном наборе навыков). Но, чем больше я об этом думаю, тем больше понимаю, что у моего скептицизма есть также обоснованные причины, о которых и пойдёт речь в текущей статье.Читать полностью »
Вместо Telegram: ТОП-14 email-рассылок для программиста
2024-08-26 в 11:20, admin, рубрики: email-рассылки, бэкенд, искусственный интеллект, фронтендВ этой статье делюсь подборкой из 14 лучших email-рассылок по бэкенду, фронтенду, ИИ на русском и английском языках.
В последнее время подсел на рассылки для экономии времени: вместо того, чтобы следить за более чем 20 телеграм-каналами по интересующей меня тематике, я получаю письма c тщательно отобранной информацией всего 1-3 раза в неделю.
SQL в качестве API
2024-03-10 в 8:01, admin, рубрики: ansi, api, crud, elasticsearch, Go, graphql, http, json, sql, timeweb_статьи_перевод, XML, архитектура, бэкенд
SQL в API???
Верно, вы уже успели подумать: «это же безумие, предоставлять API, который принимает SQL». Да, это ужасная идея. Особенно, если API обращён к Интернету. Делать так небезопасно, вы напрашиваетесь на атаки в виде SQL-инъекций. Поддержка такого интерфейса превратится в кошмар, а сама реализация бэкенда будет замкнута на конкретную технологию (это будет какая-нибудь база данных ANSI SQL).
Но справедливо ли такое суждение? Время его пересмотреть!Читать полностью »
Что такое гексагональная архитектура. Разделение бизнес-логики и инфраструктуры с помощью портов и адаптеров
2023-11-02 в 8:01, admin, рубрики: http, rest, sql, timeweb_статьи_перевод, адаптеры, бизнес, бэкенд, гексагональная архитектура, инфраструктура, логика, паттерны, персистентность, порты, приложение
Гексагональная архитектура — это архитектурный паттерн, представленный Алистером Кокберном и описанный у него в блоге в 2005 году. Основная идея заключается в том, чтобы структурировать приложение таким образом, чтобы это приложение можно было разрабатывать и тестировать в изоляции, не завися от внешних инструментов и технологий.
Вот как сам Кокберн описывает эту архитектуру одним тезисом:
Добиться, чтобы приложение в равной степени могло управляться пользователями, программами, автоматизированными тестовыми или пакетными сценариями, а также разрабатываться и тестироваться в изоляции от устройств и баз данных, на которых оно впоследствии будет выполняться. — Алистер Кокберн, 2005 г.
В этой статье мы рассмотрим некоторые задачи, как правило, решаемые в типичных программных проектах. Затем мы поговорим о гексагональной архитектуре и о том, как она призвана решить эти задачи. Мы также рассмотрим некоторые детали реализации такой архитектуры и варианты тестирования.Читать полностью »
Как мы создаем Squadus: путешествие от монолита к микросервисам
2023-04-20 в 12:04, admin, рубрики: squadus, TypeScript, Блог компании МойОфис, бэкенд, микросервисы, мойофис, отечественный софт, офисное по, Проектирование и рефакторинг, Софт
На этой неделе мы выпустилиЧитать полностью »