Когда стоит вопрос выбора между проприетарным и открытым программным обеспечением, часто в пользу последнего приводят следующий аргумент: в случае необходимости всегда можно взять исходники и поправить их под себя, или исправить ошибку прямо сейчас, а не дожидаясь месяцами реакции от вендора. На самом деле этот аргумент весьма умозрительный — ну право же, кто в здравом уме возьмется за оптимизацию sql-планировщика, когда проще исправить сам sql запрос. Равно как и вряд-ли кто-то начнет искать и исправлять проблему в драйвере, когда быстрее и проще просто сменить железку. Баг-репорт отписать и то не всякий возьмется… Тем не менее, бывают случаи, когда именно наличие открытого кода позволяет избежать потенциальных убытков в случае возникновения непредвиденных проблем. Об одном из таких я и хочу сейчас расказать.Читать полностью »
Рубрика «Серверная оптимизация» - 19
Как пропатчить K̶D̶E̶ TCP-стек под FreeBSD
2017-06-16 в 18:21, admin, рубрики: ddos, dpi, freebsd, highload, tcp, Серверная оптимизация, Серверное администрирование, Сетевые технологии, системное администрированиеСохранить данные и веру в человечество: большая миграция кластера ElasticSearch
2017-06-15 в 10:23, admin, рубрики: devops, elasticsearch, kibana, LXD, Блог компании Яндекс.Деньги, логи, Серверная оптимизация, системное администрирование
В этом материале я продолжаю делиться полевым опытом работы с системой сбора логов на базе Heka и ElasticSearch.
На этот раз рассказ пойдет про миграцию данных между двумя кластерами ElasticSearch 2.2 и 5.2.2, которая стоила немалых нервов лично мне. Как-никак, предстояло перевезти 24 миллиарда записей, не сломав уже работающую систему.
Прошлая статья закончилась на том, что система работает, логи поступают и складываются в кластер ElasticSearch, доступен их просмотр в реальном времени через Kibana. Но кластер изначально был собран со значительным запасом по памяти как раз на вырост. Читать полностью »
HP DL120 G7 — вторая жизнь сервера
2017-06-06 в 18:20, admin, рубрики: DL120, HP, HPE, raid, sas, SATA, Smart Array, ssd, сервер, Серверная оптимизация, Серверное администрирование, системное администрирование, хранение данных
Привет! За бортом 2017 год и на рынке доступны новые сервера поколения HP G9, а скоро думаю появятся и HP G10.
Но «денег нет», и вы приняли решение купить БУ сервер или провести оптимизацию существующего парка серверов. И в этом случаи я хочу обратить ваше внимание на пару моментов связанных с дисковой подсистемой сервера HP DL120 G7.
Читать полностью »
Основные возможности Dell EMC Cloud для Microsoft Azure
2017-06-04 в 13:27, admin, рубрики: dell, EMC, Блог компании МУК, облака, Облачные вычисления, Серверная оптимизация, хранение данныхОколо месяца назад компания Dell EMC представила Dell EMC Cloud для Microsoft Azure Stack — платформу, которая позволит оптимизировать внедрение гибридных облачных решений на базе Microsoft Azure Stack. И пока она еще не доступна для заказа, мы вкратце расскажем о ее основных преимуществах и о том, что она даст клиентам.
Старые технологии на новый лад. FreeBSD Jails + CBSD Project
2017-06-04 в 8:24, admin, рубрики: cbsd, containers, freebsd, jail, security, Серверная оптимизация, системное администрированиеПредисловие
Примерно 9 лет назад, когда в моем городе появились первые безлимитные тарифы (что-то вроде 128 кбит/сек за 500 руб.), я принял решение держать в квартире собственный «сервер» для решения различных задач. Одной из первых идей было поднятие зеркала для проекта FreeBSD.org. Проработало оно где-то 2 года. Далее в этом уже не было смысла, ввиду расширения каналов и других причин.
Помимо этого, сервер принимал на себя в разные периоды времени и другие задачи:
- Хранение резервный копий данных, документов и дистрибутивов;
- Закачка торрентов;
- Раздача торрентов по DLNA и SMB на различные устройства;
- VPN-клиент к провайдеру (был даже период, когда сервер держал два PPTP соединения через MPD – для работы локального трафика и медленного безлимита);
- VPN-сервер и подключение до офисного шлюза (канал до работы);
- Asterisk сервер для IP-телефонии (в дальнейшем в доме появились всякие SPA-3112, радио-трубки и т.д.);
- FTP-служба для получения данных с IP-камеры, для сброса бекапов с Mikrotik-ов скриптами;
- И т.д. и т.п.
Общая мысль – в руках был конструктор с кучей разноцветных деталей и большое желание прикрутить еще что-нибудь эдакое. В общем то обычная ситуация для большинства системных администраторов, знающих и любящих *nix-системы.
Читать полностью »
Работа с потоком логов в реальном времени с помощью Heka. Опыт Яндекс.Денег
2017-05-11 в 9:14, admin, рубрики: devops, elasticsearch, heka, kibana, Блог компании Яндекс.Деньги, Серверная оптимизация, системное администрирование
В этом материале я расскажу о том, как в Яндекс.Деньгах организована система сбора и доставки серверных логов платежных сервисов. Доставкой логов я занимаюсь весь последний год, и за это время накопилось достаточно нюансов, чтобы поделиться опытом с общественностью.
Система построена на базе стека EHK (Elasticsearch/Heka/Kibana), с прицелом на работу практически в реальном времени. Особый упор сделаю на тонкие места и нюансы обработки миллиардов строк текста в сутки.Читать полностью »
Ускоряем восстановление бэкапов в Postgres. Часть вторая (потому что сокращения времени вдвое недостаточно)
2017-05-10 в 5:48, admin, рубрики: devops, pg_dump, pg_restore, postgres, Администрирование баз данных, Блог компании Southbridge, Серверная оптимизация, Серверное администрирование, системное администрирование
В первой части статьи «Ускоряем восстановление бэкапов в Postgres» я рассказал о предпринятых шагах по уменьшению времени восстановления в локальном окружении. Мы начали с простого: pg_dump-пили (а есть ли такое слово?), паковали gzip-ом, распаковывали и направляли вывод в psql < file.sql. На восстановление уходило около 30 минут. В итоге мы остановились на настраиваемом (custom) формате Postgres и применили аргумент -j, добившись уменьшения времени до 16 минут.
В этой статье я описал, как нам удалось уменьшить размер файла резервной копии, что дополнительно ускорило процедуру восстановления.
Контейнеры Docker немного увеличивают энергопотребление сервера
2017-05-06 в 14:05, admin, рубрики: docker, виртуализация, Серверная оптимизация, Серверное администрирование, энергопотребление
Энергопотребление компьютера с ОС Linux и сервисом Docker без всякой нагрузки (без загрузки контейнера)
Виртуализация даёт множество преимуществ — особенно для изоляции процессов и контроля за ресурсами. Развёртывание программ стало как никогда простым благодаря образам полной и сконфигурированной системы. Работа гипервизора для виртуальных машин означала одновременную работу двух ядер операционной системы. Поэтому появились легковесная альтернатива виртуальным машинам — контейнеры, которые сейчас быстро вытесняют виртуальные машины как наиболее оптимальный способ виртуализации.
Поскольку в контейнерах не работают одновременно два ядра операционной системы, как в виртуальных машинах, то казалось бы, что энергопотребление у них должно быть такое же, как при работе обычной операционной системы. Но это не так. Cравнительное тестирование Linux и Docker показало, что энергопотребление контейнеров Docker чуть выше.
Читать полностью »
Ускоряем восстановление бэкапов в PostgreSQL
2017-05-05 в 9:00, admin, рубрики: devops, pg_dump, pg_restore, postgres, Администрирование баз данных, Блог компании Southbridge, Серверная оптимизация, Серверное администрирование, системное администрирование
Мои ощущения от процесса работы
Недавно я решил заняться ускорением восстановления нашей базы данных в dev-окружении. Как и во многих других проектах, база вначале была небольшой, но со временем значительно выросла. Когда мы начинали, ее размер было всего несколько мегабайт. Теперь упакованная база занимает почти 2 ГБ (несжатая — 30 ГБ ). Мы восстанавливаем dev-окружение в среднем раз в неделю. Старый способ проведения операции перестал нас устраивать, а вовремя подвернувшаяся в Slack-канале картинка “DB restore foos?” побудила меня к действию.
Ниже описано, как я ускорял операцию восстановления базы данных.
Nvidia опубликовала отчет о разработке и оптимизации актуальных GPU и сравнила их с TPU Google
2017-04-27 в 9:31, admin, рубрики: Google, gpu, Nvidia, TPU, Блог компании Сквадра Груп, виртуализация, Облачные вычисления, Серверная оптимизацияНедавний отчет Google об устройстве и назначении TPU позволяет сделать однозначный вывод — без ускоренных вычислений серьезное развертывание системы ИИ просто нецелесообразно.
Большинство необходимых экономических вычислений во всем мире сегодня производится в мировых центрах обработки данных, а они с каждым годом все сильнее изменяются. Не так давно они обслуживали веб-страницы, распространяли рекламу и видеоконтент, а теперь распознают голос, идентифицируют изображение в видеопотоках и предоставляют нужную информацию именно в тот момент, когда она нам нужна.
Все чаще эти возможности активируются с помощью одной из форм искусственного интеллекта, т.н. «глубокого обучения». Это алгоритм, который учится на огромных объемах данных для создания систем, решающих такие задачи, как перевод с разных языков, диагностирование рака и обучение беспилотных автомобилей. Перемены, привносимые искусственным интеллектом в нашу жизнь, ускоряются невиданными в отрасли темпами.
Один из исследователей глубокого обучения, Джеффри Хинтон, недавно сказал в интервью «The New Yorker»: «Возьмите любую старую классификационную проблему, в которой у вас много данных, и она будет решена путем «глубокого обучения». У нас на подходе тысячи разных приложений на базе «глубокого обучения».
Читать полностью »