С 2014 года в России реализуется программа импортозамещения, которая распространяется в том числе на программное обеспечение и системы управления базами данных, поднимая вопросы оптимальной миграции. В этой статье мы, специалисты департамента разработки «Консист Бизнес Групп», расскажем про особенности проекта Debezium для обеспечения миграции баз данных с разбором нагрузочного тестирования миграции.
Рубрика «миграция данных» - 2
Особенности проекта Debezium для решения задачи миграции баз данных
2022-03-09 в 7:01, admin, рубрики: Администрирование баз данных, Блог компании ГК ЛАНИТ, консист, консист бизнес групп, Ланит, миграция, миграция бд, миграция данных, Программирование, Тестирование IT-системКак добавить индекс на нагруженной системе 24-7 без простоя?
2019-01-18 в 15:24, admin, рубрики: 24/7, highload, Microsoft SQL Server, sqlserver, Администрирование баз данных, Блог компании Отус, высокая доступность, индексы, миграция данныхДрузья, в конце января у нас стартует новый курс под названием «MS SQL Server разработчик». В преддверии его запуска мы попросили преподавателя курса, Кристину Кучерову, подготовить авторскую статью. Эта статья будет вам полезна, если у вас есть очень популярная таблица на проде с доступом 24/7 и вдруг неожиданно вы поняли, что срочно нужно добавить индекс и ничего не сломать в процессе.
Итак, что же делать? Традиционный способ CREATE INDEX WITH (ONLINE = ON) вам не подходит, потому что, например, вызывает падение системы и сердечный приступ вашего ДБА, все топы пристально следят за response time вашей системы и в случае увеличения оного приходят к вам и вашему ДБА на разговор по поводу завышенных цифр вашей компенсации за труд.
Скрипты и описанные приёмы были использованы на системе с нагрузкой 400К requests per minute, версии SQL Server 2012 и 2016 (Enterprise).
Есть два очень разных подхода создания индекса, которые используются в зависимости от размера таблицы.
Кейс № 1. Маленькая, но очень популярная таблица
Таблица 50 тыс. записей (небольшая), но очень популярная (несколько тысяч обращений в минуту). Вам нужен новый индекс и минимальное время простоя и блокировок на таблице.
В приложении весь доступ к БД только через процедуры.
При ошибке приложение сделает повторную попытку обратится к таблице.
Миграция данных в кровавом энтерпрайзе: что анализировать, чтобы не завалить проект
2018-11-30 в 11:01, admin, рубрики: big data, cdi, data mining, sql, анализ данных, Анализ и проектирование систем, архитектура системы, Блог компании HFLabs, миграция данных, системная интеграция
Типичный проект системной интеграции для нас выглядит так: у заказчика вагон систем для учета клиентов, задача — собрать клиентские карточки в единую базу. И не только собрать, а еще очистить от дублей и мусора. Чтобы на выходе получились чистые, структурированные, полные карточки клиентов.
Для начинающих поясню, что миграция идет по такой схеме: источники → преобразование данных (отвечает ETL или шина) → приемник.
На одном проекте мы потеряли три месяца просто потому, что сторонняя команда интеграторов не изучала данные в системах-источниках. Самое обидное, что этого можно было избежать.
Читать полностью »
Миграция данных ElasticSearch без потерь
2018-07-05 в 18:33, admin, рубрики: devops, elasticsearch, kaizen, nosql, open source, Администрирование баз данных, миграция данных
Академическое проектирование хранилища данных рекомендует держать все в нормализованной форме, со связями между. Тогда накат изменений по реляционной математике даст надежное хранилище с поддержкой транзакций. Atomicity, Consistency, Isolation, Durability — вот это все. Иначе говоря, хранилище специально строится для безопасного обновления данных. Но оно вовсе не оптимально для поиска, особенно широким жестом по таблицам и полям. Нужны индексы, много индексов. Объемы разрастаются, запись замедляется. SQL LIKE не индексируется, а JOIN GROUP BY отправляет медитировать в планировщик запросов.
Как перенести сервер Zimbra на другой сервер
2017-08-04 в 16:57, admin, рубрики: linux, zextras, zextras migration tool, zimbra, Блог компании Zimbra, миграция данных, Настройка Linux, почта, почтовый сервер, Серверное администрирование, системное администрированиеОчень много вопросов у системных администраторов вызывает миграция Zimbra Collaboration Suite с одного сервера на другой или миграция с версии на версию. Самый простой и эффективный способ это сделать — воспользоваться бесплатным инструментом Zextras Migration Tool.
От Oracle к PostgreSQL – путь длиною в 4 года, доклад Андрея Рынкевича
2017-04-26 в 9:58, admin, рубрики: devops, oracle, postgresql, Администрирование баз данных, Блог компании PG Day'17 Russia, миграция бд, миграция данных, хранение данных, хранилища данных2017 год стал значимым событием для PG Day — мы преобразовали наше мероприятие в крупнейшую конференцию, посвященную базам данных.
Мы не изменяем своим традициям и готовим насыщенную и интересную программу, посвященную Посгресу. Тем не менее, общение с коллегами и обратная связь от участников дают однозначно понять, что огромное количество специалистов занимается эксплуатацией нескольких систем для хранения данных, вынужденно или же по собственному решению. Мы не хотим лишать коллег возможности пообщаться друг с другом, обменяться опытом и найти способы решить свои проблемы. Именно поэтому, в 2017 году PG Day делится на 5 параллельных потоков по различным направлениям: PostgreSQL, MySQL, Oracle, MS SQL Server, NoSQL решения и другие бесплатные и коммерческие СУБД.
Не смотря на то, что радикальные изменения в структуре ПГ Дня начались только в этом году, интерес к нашему мероприятию от колег по цеху стал появляться уже значительно раньше. На одном из прошлых PG Day Андрей Рынкевич представил интереснейший доклад От Oracle к PostgreSQL – путь длиною в 4 года, основанный на опыте миграции в компании Phorm, расшифровку которого мы рады представить читателям Хабра.
Читать полностью »
Теория и практика миграции веб-систем на PostgreSQL
2015-04-01 в 15:06, admin, рубрики: postgresql, Администрирование баз данных, базы данных, Веб-разработка, миграция данных, СУБДВ последние месяцы проблематика миграции работающих систем на open-source решения для хранения данных захватила умы отечественных разработчиков. Особой популярностью в роли целевой платформы пользуется PostgreSQL. Причин тому можно назвать несколько:
- Пребывающая у всех на слуху политика импортозамещения, внедряемая правительством;
- Популяризация PostgreSQL силами энтузиастов и развитие российского сообщества благодаря таким мероприятиям как PG Day и PGConf;
- Расширение функциональных возможностей PostgreSQL, позволяющих разработчикам строить гибкие и «schema-less» приложения, не теряя при этом всех преимуществ СУБД, таких как честные транзакции, отказоустойчивость, возможности масштабирования и др.
Нам удалось убедиться в эффективности PostgreSQL несколько лет назад. Внедрение СУБД позволило ликвидировать серьезный технологический кризис на одном из крупных проектов компании. Подробный рассказ об этой success story состоялся на PG Day’14 Russia, прошедшем в прошлом году в Санкт-Петербурге. С тех пор нам довелось попробовать базу данных для решения широкого спектра проблем.
Читать полностью »
Выполняем миграцию файловых серверов из Windows Server 2003 в Windows Server 2012 R2
2014-11-18 в 7:36, admin, рубрики: file server, windows server 2012 r2, Блог компании Microsoft, ит-инфраструктура, миграция, миграция данных, системное администрированиеВведение
Если у вас есть файловые сервера SMB, запущенные на Windows Server 2003, вы, наверное, уже в курсе, что расширенная поддержка этой ОС завершится 14 июля 2015 года. Более подробно об этом вы можете прочитать здесь.
Если вы все еще используете Windows Server 2003, вы должны начать планировать переход на новую версию прямо сейчас. Простейшим способом мигрировать старые файловые сервера SMB будет использование виртуальной машины, чтобы заменить вашу старую виртуальную машину и перенести данные на новую. Не смотря на то, что такой переход кажется довольно простым, вы должны быть осторожны, т.к. это перемещение данных и требует, по крайней мере непродолжительного, времени простоя.
Я рад, что вы читаете эту статью, так как это означает, что вы предпринимаете шаги, чтобы уйти с ваших старых серверов прежде, чем их поддержка прекратится.
Читать полностью »
Mover.io: сервис для облачных миграций
2014-06-06 в 11:08, admin, рубрики: миграция данных, облака, Облачные вычисления, метки: миграция данных, облака 
Сейчас у нас в наличии серьезный ассортимент разнообразных облачных хранилищ. В каких-то Вам предоставляют больше места для ваших данных, в других меньше. Часто бывает что информация распределена между двумя++ различными сервисами. Неплохо было бы иметь удобный инструмент для того, чтобы без особых затрат времени и трафика привести эти удаленные папки в желаемый вид. Я открыл для себя вот этот сервис.
Читать полностью »
Полное руководство: средства и способы миграции данных в Windows Azure SQL Database
2012-10-24 в 8:38, admin, рубрики: windows azure, windows azure sql database, Администрирование баз данных, Блог компании Microsoft, миграция данных, облачные сервисы 
В этом документе представлены рекомендации по миграции определений данных (схем) и данных в базу данных SQL Windows Azure. Эти рекомендации предназначены главным образом для однократного переноса с SQL Server в базу данных SQL. Сведения о совместном использовании данных и резервном копировании базы данных SQL см. в статье SQL Data Sync Overview (Обзор синхронизации данных SQL).
Факторы, которые следует учесть при миграции
Microsoft Windows Azure предоставляет несколько вариантов хранения данных. Можно выбрать один или несколько вариантов для использования в проектах.
База данных SQL Windows Azure является технологией SQL Server, предоставляемой в качестве службы на платформе Windows Azure. Облачные базы данных SQL предоставляют множество преимуществ, включая быструю подготовку, эффективную масштабируемость, высокую доступность и сокращение затрат на управление. База данных SQL поддерживает те же средства и методики разработки, которые используются для локальных приложений SQL Server. Поэтому большинство разработчиков сможет легко создавать облачные решения.
Долгосрочная цель использования SQL Server и базы данных SQL — достижение симметричности и четности компонентов и возможностей. Однако в настоящее время при миграции баз данных в базу данных SQL и разработке решений для базы данных SQL необходимо учитывать особенности архитектуры и способов реализации.
Вначале необходимо изучить отличия между базой данных SQL и SQL Server, а также установить график миграции.
Читать полностью »