В середине июня в нашем офисе прошла конференция T+ Conf 2019, на которой прозвучало много интересных докладов про использование Tarantool, in-memory-вычислений, кооперативной многозадачности и Lua для создания высоконагруженных отказоустойчивых сервисов в Digital и Enterprise. И для всех, кто не смог побывать на конференции, мы приготовили видеозаписи и презентации всех выступлений, а также кучу отличных фотографий из гущи событий, так сказать.
Рубрика «Администрирование баз данных» - 19
По следам конференции T+ Conf 2019
2019-07-09 в 13:25, admin, рубрики: tarantool, Администрирование баз данных, Анализ и проектирование систем, Блог компании Mail.Ru Group, высокая производительность, конференции, конференция
Zabbix, временные ряды и TimescaleDB
2019-07-02 в 12:32, admin, рубрики: open source, postgresql, time series, time series database, tsdb, zabbix, zabbix 4.2, zabbix мониторинг, Администрирование баз данных, Блог компании Zabbix, системное администрированиеКаждая система мониторинга сталкивается с тремя видами проблем, связанных с производительностью.
Во-первых, хорошая система мониторинга должна очень быстро получать, обрабатывать и записывать поступающие извне данные. Счёт идёт на микросекунды. Навскидку это может показаться неочевидным, но когда система становится достаточно большой, все эти доли секунд суммируются, превращаясь в хорошо заметные задержки.
Исследование быстродействия СУБД MS SQL Server Developer 2016 и PostgreSQL 10.5 для 1С
2019-06-30 в 10:10, admin, рубрики: .net, 1c, 1c 8.3, CentOS, centos 7, linux, Microsoft SQL Server, postgresql, sql, sql server, windows, Windows Server, windows server 2012 r2, администрирование 1с, Администрирование баз данных, Администрирование БД, гилевЦели и требования к тестированию «1С Бухгалтерии»
Основной целью проводимого тестирования является сравнение поведения системы 1С на двух разных СУБД при прочих одинаковых условиях. Т.е. конфигурация баз данных 1С и первоначальная заполненность данными должны быть одинаковыми при проведении каждого тестирования.
Основными параметрами, которые должны быть получены при тестировании:
- Время выполнения каждого теста (снимается отделом Разработки 1С)
- Нагрузка на СУБД и серверное окружение во время выполнения теста снимается- администраторами СУБД, а также по серверному окружению системными администраторами
Тестирование системы 1С должно выполняться с учетом клиент-серверной архитектуры, поэтому необходимо произвести полноценную эмуляцию работы пользователя или нескольких пользователей в системе с отработкой ввода информации в интерфейсе и сохранением этой информации в базе данных. При этом, необходимо, чтобы большой объем периодической информации был разнесен по большому отрезку времени для создания итогов в регистрах накопления.
Для выполнения тестирования разработан алгоритм в виде скрипта сценарного тестирования, для конфигурации 1С Бухгалтерия 3.0, в котором выполняется последовательный ввод тестовых данных в систему 1С. Скрипт позволяет указать различные настройки по выполняемым действиям и количеству тестовых данных. Детальное описание ниже по тексту.
Описание настроек и характеристик тестируемых сред
Мы в компании Fortis решили перепроверить результаты, в том числе с помощью известного теста Гилева.
Также нас подстегнуло к тестированию в том числе и некоторые публикации по результатам изменения производительности при переходе от MS SQL Server к PostgreSQL. Такие как: 1С Батл: PostgreSQL 9,10 vs MS SQL 2016.
Читать полностью »
SQL Index Manager – a long story about SQL Server, grave digging and index maintenance
2019-06-23 в 5:14, admin, рубрики: .net, azure, columnstore index, devart, index maintenance, index rebuild, Microsoft SQL Server, ola hallengren, redgate, sql, sql index manager, sql server, statistics maintenance, Администрирование баз данных, Программирование
Every now and then we create our own problems with our own hands… with our vision of the world… with our inaction… with our laziness… and with our fears. As a result, it seems to become very convenient to swim in the public flow of sewage patterns… because it is warm and fun, and the rest does not matter – we can smell round. But after a fail comes the realization of the simple truth – instead of generating an endless stream of causes, self-pity and self-justification, it is enough just to do what you consider the most important for yourself. This will be the starting point for your new reality.
For me, the written below is just such a starting point. The way is expected to be lingering…
Читать полностью »
Как я стал докладчиком Percona Live (и несколько интригующих деталей с американской границы)
2019-06-21 в 5:31, admin, рубрики: Conference, ITSumma, mysql, Percona, Percona Live, postgresql, Администрирование баз данных, Блог компании ITSumma, доклад, конференции, конференция, облака, облачные сервисы, СУБД
Percona Live Open Source Database Conference — одно из главных мероприятий на календаре мира СУБД. Когда-то всё начиналось с разработки одного из форков MySQL, но потом сильно переросло прародителя. И хотя очень многие материалы (и посетители) всё ещё плотно связаны с тематикой MySQL, общий информационный фон стал значительно шире: это и MongoDB, и PostgreSQL, и другие менее популярные СУБД. В этом году «Перкона» стала значительным событием и на нашем календаре: впервые мы принимали участие в этой американской конференции. Как вы наверняка уже знаете, нас очень волнует состояние технологий мониторинга в современном мире. Со сдвигом инфраструктурных парадигм в сторону максимальной гибкости, микросервисов и кластерных решений должны меняться и сопутствующие инструменты и подходы в поддержке. О том, собственно, и был мой доклад. Но для начала хочу рассказать, как вообще попадают на штатовские конференции и какие сюрпризы могут ждать сразу после посадки самолёта.
Читать полностью »
В эту пятницу 21 июня пройдет юбилейная DevConfX, 22 июня эксклюзивные мастер-классы
2019-06-18 в 10:53, admin, рубрики: larabeer, laravel, mysql, php, postgresql, python, ruby, vuejs, yii framework, Администрирование баз данных, Блог компании DevConf, конференция веб-разработчиков, Разработка веб-сайтов
В эту пятницу пройдет юбилейная конференция DevConfX devconf.ru/ru
Как всегда — все участники получают значительную фору в знаниях на год вперед и шанс оставаться востребованным инженерами WEBa
Доклады которые могли бы Вас заинтересовать:
- PHP 7.4: стрелочные функции, типизированные свойства и др
- Symfony: Разработка абстрактных компонентов и бандлов
- Domain Driven Design
- TDD: как уйти от мучений и войти в поток
- Погружение в блокчейн для веб-специалиста
- Инфраструктура большой платежной платформы
- NoSQL + SQL = MySQL 8 Document Store!
- Предвкушая двенадцатый PostgreSQL
- Сертификация PostgreSQL. Вопросы и ответы
- Tarantool. Добавляем SQL в noSQL СУБД
- Ceph: настройка и тестирование
- Как мы построили сервис распределённых очередей в Яндексе
- Экстрим-улучшения — работа в рамках высокой нагрузки
Остальные доклады программы
devconf.ru/ru/schedule/jun21#main
Читать полностью »
Magento 2: импорт продуктов прямо в базу
2019-06-13 в 14:10, admin, рубрики: Magento, magento 2, performance, products import, Администрирование баз данных, базы данныхВ предыдущей статье я описал процесс импорта продуктов в Magento 2 обычным способом — через модели и репозитории. Обычный способ отличается весьма низкой скоростью обработки данных. На моём ноутбуке выходило примерно один продукт в секунду. В данном продолжении я рассматриваю альтернативный способ импорта продукта — прямой записью в базу, в обход стандартных механизмов Magento 2 (модели, фабрики, репозитории). Последовательность шагов, обеспечивающих импорт продуктов, может быть адаптирована под любой язык программирования, способный работать с MySQL.
Disclaimer: В Magento есть готовый функционал по импорту данных и, скорее всего, вам его хватит. Однако если вам нужен более полный контроль за процессом импорта, не ограничивающийся подготовкой CSV-файла для того, что есть — добро пожаловать под кат.
Перенос данных бэкапа новой версии MS SQL Server на более старую версию
2019-06-13 в 8:11, admin, рубрики: administration, backup, downgrade, Microsoft SQL Server, MS Sql Server, Администрирование баз данных, резервное копированиеПредыстория
Как-то раз для воспроизведения бага мне потребовался бэкап production-базы.
К моему удивлению я столкнулся со следующими ограничениями:
- Бэкап базы был сделан на версии SQL Server 2016 и не был совместим с моей SQL Server 2014.
- На моем рабочем компьютере в качестве ОС использовалась Windows 7, поэтому я не мог обновить SQL Server до версии 2016
- Поддерживаемый продукт был частью более крупной системы с сильно связанной легаси-архитектурой и также обращался к другим продуктам и базам, поэтому его развертывание на другой станции могло занять очень много времени.
Учитывая вышеизложенное, я пришел к выводу, что настало время костылей нестандартных решений.Читать полностью »
Утечка данных покупателей магазинов re:Store, Samsung, Sony Centre, Nike, LEGO и Street Beat
2019-06-12 в 6:51, admin, рубрики: data breach, data leak, elasticsearch, Администрирование баз данных, информационная безопасность, утечки данных, утечки информацииНа прошлой неделе издание Коммерсантъ сообщило, что «базы клиентов Street Beat и Sony Centre оказались в открытом доступе», но на самом деле все гораздо хуже, чем написано в статье.
Подробный технический разбор данной утечки я уже делал у себя в Telegram-канале, поэтому тут пробежимся только по основным моментам.
Приглашаем на Tarantool Conference 17 июня
2019-06-11 в 9:39, admin, рубрики: Lua, mail.ru group, tarantool, Администрирование баз данных, Блог компании Mail.Ru Group, высокая производительность, конференции
17 июня в московском офисе Mail.ru Group пройдёт вторая ежегодная открытая Tarantool Conference или коротко T+ Conf — конференция не только про сам Tarantool, а вообще про использование in-memory computing, Tarantool, кооперативной многозадачности и Lua для разработки высоконагруженных отказоустойчивых сервисов. Предварительно доклады сортируются по темам: микросервисная архитектура, грид-архитектура, туториалы, энтерпрайз. А следовательно, будут интересны не только опытным разработчикам, но и, с одной стороны, начинающим, а с другой — архитекторам в enterprise-секторе. Подробности можно найти под катом.