В наше время термин “BIG DATA” у всех на слуху. После появления в сети и в прессе многочисленных публикаций, связанных с обработкой «больших данных», интерес к этой теме постоянно растет. Все более широким спросом пользуются системы управления базами данных с
использованием технологии NoSQL. Всем понятно, что для построения систем “BIG DATA” необходимо располагать внушительными аппаратными ресурсами. Еще более важно уметь оптимально использовать вычислительные ресурсы системы и эффективно их масштабировать. Это неизбежно меняет подходы к построению систем обработки данных. Читать полностью »
Рубрика «linux» - 125
Построение систем управления приложениями в распределенной кластерной инфраструктуре на базе технологии MESOS
2017-06-27 в 13:37, admin, рубрики: Apache, big data, devops, docker, linux, mesos, mesosphere, Блог компании Петер-Сервис, Настройка Linux, системное администрированиеТюнинг сетевого стека Linux для ленивых
2017-06-27 в 6:59, admin, рубрики: linux, linux networking stack, numa, мониторинг сервера, Настройка Linux, производительность, Серверная оптимизация, Серверное администрирование, сетевые карты, Сетевые технологии, сети, я всё-таки немного пиарюсь, метки: linux networking stackСетевой стек Linux по умолчанию замечательно работает на десктопах. На серверах с нагрузкой чуть выше средней уже приходится разбираться как всё нужно правильно настраивать. На моей текущей работе этим приходится заниматься едва ли не в промышленных масштабах, так что без автоматизации никуда – объяснять каждому коллеге что и как устроено долго, а заставлять людей читать ≈300 страниц английского текста, перемешанного с кодом на C… Можно и нужно, но результаты будут не через час и не через день. Поэтому я попробовал накидать набор утилит для тюнинга сетевого стека и руководство по их использованию, не уходящее в специфические детали определённых задач, которое при этом остаётся достаточно компактным для того, чтобы его можно было прочитать меньше чем за час и вынести из него хоть какую-то пользу.
25 лет c одним проектом: что вдохновляет и удивляет Линуса Торвальдса
2017-06-26 в 17:12, admin, рубрики: Git, linus torvalds, linux, Линус Торвальдс
С главой VMware Дирком Хонделем на LinuxCon + ContainerCon + CloudOpen China в Пекине перед почти двухтысячной аудиторией Линус Торвальдс обсудил, что мотивирует и удивляет его в его деятельности, и как начинающим разработчикам открытого ПО найти работу. Linux.com опубликовал фрагменты этого разговора. Читать полностью »
Серьёзная ошибка в многопоточности процессоров Skylake и Kaby Lake
2017-06-26 в 11:57, admin, рубрики: hyperthreading, kaby lake, linux, open source, Skylake, Железо, Процессоры, Софт
В течение апреля и мая 2017 года компания Intel обновила документацию к процессорам Skylake и Kaby Lake, добавив одно небольшое примечание (errata KBL095, KBW095 для Kaby Lake, errata SKW144, SKL150, SKX150, SKZ7 для Skylake). Оно звучит следующим образом:
«В сложных микроархитектурных условиях краткие циклы менее чем из 64 инструкций с использованием регистров AH, BH, CH или DH, а также соответствующих более широких регистров (например, RAX, EAX или AX для AH) могут вызвать непредсказуемое поведение системы. Такое может произойти только если активны оба логических процессора на одном физическом процессоре».
Что означает это примечание — 25 июня 2017 года подробно объяснили в почтовом списке рассылки разработчиков Debian. Если вкратце, то процессоры Skylake и Kaby Lake с включенным HyperThreading могут вести себя неадекватно. Разработчики рекомендуют немедленно отключить HyperThreading в BIOS/UEFI, а потом обновить микрокод процессора от Intel или дождаться обновления BIOS/UEFI от своего вендора.
Читать полностью »
Ubuntu для мобильных устройств: посмертный анализ
2017-06-26 в 10:32, admin, рубрики: Aethercast, api, bq, canonical, linux, Meizu MX4, open source, telegram, Ubuntu, ubuntu touch, unity 8, разработка мобильных приложений, Разработка под Linux
Так выглядела Ubuntu Touch, когда проект анонсировали 2 января 2013 года. Изображение: Canonical
Теперь, когда телефонов и планшетов Ubuntu больше нет, я бы хотел поделиться мыслями, почему проект провалился и какие уроки из этого можно извлечь.
Чтобы резюмировать моё участие в проекте: я использовал Ubuntu Touch на Nexus 7 постоянно и периодически с момента его анонса в 2013 году и до декабря 2014 года, начал работать над приложениями Click в декабре 2014-го, начал писать статью из 15-ти частей “Hacking Ubuntu Touch” об устройстве системы в январе 2015-го, был инсайдером по программе Ubuntu Phone Insider, получил Meizu MX4 от Canonical, организовал конкурс для разработчиков приложений UbuContest и был его спонсором, работал над баг-репортами и приложениями примерно до апреля 2016 года, а затем продал или переделал все мои оставшиеся устройства в середине 2016-го. Так что думаю, что могу поделиться какими-то мыслями о проекте, его проблемах и о том, где мы могли сработать лучше.
Пожалуйста, обратите внимание, что эта статья не затрагивает проект UBPorts, который продолжает работать на операционной системе телефонов, Unity 8 и другие компоненты.
Читать полностью »
Security Week 25: В *NIX реанимировали древнюю уязвимость, WannaCry оказался не доделан, ЦРУ прослушивает наши роутеры
2017-06-23 в 18:40, admin, рубрики: cherry blossom, freebsd, klsw, linux, WannaCry, Блог компании «Лаборатория Касперского», информационная безопасность
Земля, 2005 год. По всей планете происходят загадочные события: Nokia выводит на рынок планшет на Linux, в глубокой тайне идет разработка игры с участниками группы Metallica в главных ролях, Джобс объявил о переходе Маков на платформу Intel.
Тем временем на конференции CancSecWest Гаэль Делалло из Beijaflore представил фундаментальный доклад об уязвимостях системы управления памятью в разнообразных NIX-ах, и проиллюстрировал свои находки эксплойтами для Apache. Все запатчились. Прошло несколько лет.
2010 год. Рафаль Войтчук продемонстрировал эксплуатацию уязвимости того же класса в сервере Xorg. В том же году Йон Оберайде опубликовал пару забавных сообщений о своих невинных играх с никсовым стеком ядра. Все снова запатчились.
2016 год. Гуглевский Project Zero разродился исследованием эксплуатации уязвимостей стека ядра под Ubuntu. Оберайде передает в комментах привет. Убунта запатчилась.
2017 год. Никогда такого не было, и вот опять. Qualys научилась мухлевать со стеком юзермода в любых никсах, согласно идеям Делалло.
Читать полностью »
Raspberry Pi3 против DragonBoard: разработка приложений на Python
2017-06-23 в 17:51, admin, рубрики: linux, python, python3, Raspberry Pi, Блог компании DataArt, Железо, производительность, Процессоры
Автор: Николай Хабаров, Embedded Expert DataArt, евангелист технологий умного дома.
Python идеально подходит для создания простых PoC-проектов. Всех преимуществ этого языка мы перечислять не будем, обратим внимание на особенность, которая кажется нам одной из самых интересных — кроссплатформенность. Именно благодаря ей Python оказывается очень удобным для создания встраиваемых систем. Не нужно компилировать двоичные файлы, нет необходимости заниматься развертыванием приложений. Тот же код работает как на ПК, так и на одноплатных решениях на базе Linux (например, Raspberry Pi).Читать полностью »
Виртуальные твари и места их обитания: прошлое и настоящее TTY в Linux
2017-06-23 в 6:03, admin, рубрики: linux, neoquest, terminal, tty, Блог компании НеоБИТ, Занимательные задачки, информационная безопасность, Разработка под Linux, метки: tty
Ubuntu интегрирована в Windows 10 Redstone, Visual Studio 2017 обзавелась поддержкой разработки под Linux – даже Microsoft сдает позиции в пользу растущего числа сторонников Торвальдса, а ты всё еще не знаешь тайны виртуального терминала в современных дистрибутивах?
Хочешь исправить этот пробел и открываешь исходный код? TTY, MASTER, SLAVE, N_TTY, VT, PTS, PTMX… Нагромождение понятий, виртуальных устройств и беспорядочная магия? Всё это складывается в довольно логичную картину, если вспомнить, с чего всё началось…
Читать полностью »
Уязвимость Stack Clash позволяет получить root-привилегии в Linux и других ОС
2017-06-20 в 15:39, admin, рубрики: linux, stack clash, UNIX, Блог компании Positive Technologies, информационная безопасность, уязвимости, метки: stack clash
Изображение:finnsland, CC BY-SA 2.0
В механизме управления памятью операционных систем Linux, OpenBSD, NetBSD, FreeBSD и Solaris обнаружена серьезная уязвимость, позволяющая осуществлять повышение привилегий до уровня суперпользователя и выполнять произвольный код. Проблема безопасности получила название Stack Clash.Читать полностью »
Лекции Технотрека. Администрирование Linux
2017-06-20 в 15:26, admin, рубрики: linux, администрирование, Блог компании Mail.Ru Group, Настройка Linux, системное администрирование, технотрек
Представляем вашему вниманию очередную порцию лекций Технотрека. В рамках курса будут рассмотрены основы системного администрирования интернет-сервисов, обеспечения их отказоустойчивости, производительности и безопасности, а также особенности устройства ОС Linux, наиболее широко применяемой в подобных проектах. В качестве примера будут использоваться дистрибутивы семейства RHEL 7 (CentOS 7), веб-сервер nginx, СУБД MySQL, системы резервного копирования bacula, системы мониторинга Zabbix, системы виртуализации oVirt, балансировщика нагрузки на базе ipvs+keepalived. Курс ведёт Сергей Клочков, системный администратор в компании Variti.
Список лекций: