(первая часть тут: https://habr.com/ru/post/456446/)
Поскольку сеть является одним из ключевых элементов Ceph, а она в нашей компании немного специфична — расскажем сначала немного о ней.
Тут будет сильно меньше описаний самого Ceph, в основном сетевая инфраструктура. Описываться будут только сервера Ceph-а и некоторые особенности серверов виртуализации Proxmox.
У нас было пять стоек, десять оптических свичей, настроенный BGP, пару десятков SSD и куча SAS дисков всех цветов и размеров, а ещё proxmox и желание засунуть всю статику в собственное S3 хранилище. Не то чтобы это всё было нужно для виртуализации, но раз начал использовать opensource — то иди в своём увлечении до конца. Единственное, что меня беспокоило — это BGP. В мире нет никого более беспомощного, безответственного и безнравственного, чем внутренняя маршртутизация по BGP. И я знал, что довольно скоро мы в это окунёмся.
Задача стояла банальная — имелся CEPH, работал не очень хорошо. Надо было сделать "хорошо".
Доставшийся мне кластер был разнородным, настроенным на скорую руку и практически не тюнингованным. Он состоял из двух групп разных нод, с одной общей сеткой выполняющей роль как cluster так и public network. Ноды были набиты четырьмя типами дисков — два типа SSD, собранными в два отдельных placement rule и два типа HDD разного размера, собранными в третью группу. Проблема с разными размерами была решена разными весами OSD.
Саму настройку разделили на две части — тюнинг операционной системы и тюнинг самого CEPH и его настроек.
Маленький интернет-провайдер «Фирма Связь» из города Ейск Краснодарского края отказался выполнять требование Роскомнадзора по закону Яровой и закупить оборудование, которое не прошло сертификацию. Роскомнадзор подал в суд на мятежного провайдера. В Минкомсвязи признали наличие пробела в законодательстве и пообещали устранить «законодательную лакуну».
Директор компании Сергей Субоч объяснил, что в январе 2019 года управление ФСБ по Краснодарскому краю отказалось утвердить компании план внедрения оборудования СОРМ из-за того, что предложенный ей срок превышал год. «После этого местное управление Роскомнадзора начало проверку, а 27 мая подало четыре иска о привлечении компании к административной ответственности, следует из картотеки суда. 6 июня, рассмотрев два протокола, суд поддержал позицию Роскомнадзора, ещё два рассмотрит позднее», — пишет «Коммерсантъ».
Читать полностью »
Доброго дня! Продолжу свою историю сборку «суперкомпьютера в деревне».
Ссылка на 1 часть истории: habr.com/ru/post/454282
Ссылка на 2 часть истории: habr.com/ru/post/454448
Третью часть я начну с выражения искренней благодарности своим друзьям, которые поддерживали меня в трудную минуту, мотивировали, помогали деньгами спонсируя это достаточно дорогое дело на протяжении длительного времени и даже помогали с покупкой комплектующих из-за границы в случаях когда я не мог купить их на прямую сам. Например если фирма торгующая серверными запчастями в США или Канаде просто не слала в Россию. Без их долгой и регулярной помощи мои успехи были бы намного скромнее.
Так-же благодаря их просьбам я решился и завел аккаунт на Youtube, купил старый смартфон Lumia 640 который я использую исключительно как видеокамеру и начал снимать познавательные видео, как про сборку «деревенского суперкомпьютера» так и про другие аспекты и проекты своей деревенской жизни.
Плейлист «Деревенский суперкомпьютер»: www.youtube.com/playlist?list=PL3zeXynsAkrnywl1nXQeHzKNdw09V4D7E
Желающие спойлеров могут ознакомиться, хотя конечно делать это лучше в процессе прочтения моей истории или вовсе после.
Читать полностью »
Доброго времени суток, дорогие Хабровчане!
Хочу продолжить свое повествование о сборке «деревенского суперкомпьютера». И поясню почему он так назван — причина простая. Я сам живу в деревне. И название — легкий троллинг над теми кто кричит в интернете «За МКАД жизни нет!», «Русская деревня спилась и вымирает!» Так вот, где-то это может быть и так, а я буду исключением из правил. Не пью, не курю, делаю вещи которые не всякому «городскому креаклу(с)» по уму и карману. Но вернемся к нашим баранам, точнее — серверу, который в конце первой части статьи уже «подавал признаки жизни».
Плата лежала на столе, я полазил по BIOS настраивая его по своему вкусу, накатал Ubuntu 16.04 Desktop для простоты и решил подключить к «супер-машине» видеокарту. Но под рукой была только GTS 250 с приклеенным здоровенным не родным вентилятором. Которую я и установил в PCI-E 16x слот около кнопки питания.
Читать полностью »
Доброго дня, дорогие Хабровчане!
Хочу поведать вам долгую и как я надеюсь увлекательную, а может быть и ставшую кому-то полезной историю сборки «деревенского суперкомпьютера» из платы ноды сервера Dell, GPU Nvidia Tesla K20 и того что было куплено то тут, то там по всяким интернеты магазинам или в компьютерных магазинах своего города.
Читать полностью »
Буквально на днях релизнули свежую stable версию ZFSonLinux, проекта, который теперь является центральным в мире разработки OpenZFS. Прощай, OpenSolaris, здравствуй свирепый GPL-CDDL несовместимый мир Linux.
Под катом обзор самых интересных вещей (ещё бы, 2200 коммитов!), а на десерт — немного интриг.
Читать полностью »
Продолжаем обсуждать технологические новинки, представленные на конференции VMware EMPOWER 2019 в Лиссабоне. Наши материалы по теме на Хабре:
Сервер Yadro собственного производства
Аналитическая компания IDC подвела итоги 2018 года на российском рынке систем хранения данных (СХД). Благодаря закону Яровой и закону о хранении персональных данных за год поставки СХД выросли на 25%, до $409 млн, пишет «Коммерсантъ», который получил в распоряжение копию отчёта IDC.
По продажам лидируют зарубежные производители: Dell EMC (доля рынка 20,3%), Hewlett Packard Enterprise (HPE; 16,4%), IBM (15,9%), NetApp (11,7%), Hitachi Data Systems (HDS; 10,5%). Однако по ёмкости поставленной продукции первое место с большим отрывом заняла российская компания Yadro, входящая в «ИКС Холдинг» (38,2%). За ней следуют Dell EMC (18,2%), HPE (11,2%), HDS (7,4%) и Huawei (6,9%). Это значит, что Yadro продаёт системы хранения гораздо дешевле, чем конкуренты.
Впервые в истории лидером на рынке стала российская компания.
Читать полностью »
23 мая Одноклассники приглашают опытных разработчиков в свой офис в Петербурге на митап, посвященный работе с Apache Cassandra. Важен лишь ваш опыт работы с Cassandra и желание им поделиться.
Зарегистрироваться на мероприятие
Читать полностью »
