Версионирование объектов в S3: пример работы с версиями в Python

Версионирование объектов в S3-хранилищах — это мощный механизм, который позволяет отслеживать изменения файлов, предотвращать их случайное удаление и восстанавливать предыдущие версии. Это особенно полезно при работе с резервными копиями или чувствительными данными — есть возможность в любой момент вернуться к определенному состоянию объекта или восстановить его даже после удаления.

Всем привет! Меня зовут Гришин Александр, я продакт-менеджер и отвечаю за развитие объектного хранилища ^[1] и облачных баз данных ^[2]. В этой статье расскажу, как включить версионирование в объектном хранилище Selectel и работать с ним через Python с использованием библиотеки boto3 и панель управления. Материал пригодится как инженерам облачной инфраструктуры, так и разработчикам приложений.

Используйте навигацию, если не хотите читать текст целиком:

→ Часть работы в панели управления Selectel ^[3]
→ Включаем версионирование в бакете ^[4]
→ Загрузка объекта и создание версий ^[5]
→ Восстановление предыдущей версии ^[6]
→ Заключение ^[7]

В целом, здесь нам нужно просто создать и настроить контейнер объектного хранилища. Очень подробный пошаговый гайд вы найдете в статье ^[8] моего коллеги. Я же перечислю только основные шаги.

1. Перейдите в панель управления ^[9] → Объектное хранилище и нажмите Создать контейнер.
2. Выберите тип адресации vHosted. Что касается типа контейнера, то для работы с чувствительными данными подойдет приватный, а если планируете реализовать доступ к контенту без авторизации, выберите публичный.
3. Включите версионирование на этот контейнер.
4. Создайте служебного пользователя с ролью «Администратор объектного хранилища» и доступом в нужный проект.
5. Создайте S3-ключ в панели управления.
6. Сохраните Access Key и Secret Key. Будьте внимательны: ключи не хранятся в наших системах и показываются только один раз.

Работа с сервисными пользователями в панели управления.

Перед тем, как работать с версиями файлов, необходимо включить версионирование в контейнере. Это переопределяет поведение хранилища.

• При выключенном версионировании объекты с одним и тем же именем будут перезаписаны при повторной записи.
• При включенном версионировании вместо перезаписи каждая новая версия объекта будет храниться отдельно. Это позволяет возвращаться к нужному состоянию объекта.

Включение через графический интерфейс

Версионирование можно включить при создании контейнера. Для этого поставьте галочку Версионирование в разделе Защита данных.

Включение версионирования при создании нового контейнера.

Эту функциональность можно включать и выключать также и для существующего контейнера. Стоит учесть, что выключение версионирования не удаляет существующие версии в контейнере версии объектов, а лишь меняет поведение хранилища при записи. Новые версии перестанут записываться отдельным объектом, а будут перезаписывать существующий.

Включение версионирования для уже существующих контейнеров.

Включение через API (Python + boto3)

Если же вам удобнее работать с кодом, то берем библиотеку boto3 и включаем версионирование с помощью нескольких строк:

import boto3
s3 = boto3.client(
    's3',
    endpoint_url='https://s3.storage.selcloud.ru',
    aws_access_key_id='ВАШ_ACCESS_KEY',
    aws_secret_access_key='ВАШ_SECRET_KEY'
)

bucket_name = 'my-versioned-bucket'

# Включаем версионирование
s3.put_bucket_versioning(
    Bucket=bucket_name,
    VersioningConfiguration={'Status': 'Enabled'}
)

print(f'Версионирование включено для бакета {bucket_name}')

Попробуем загрузить объект example.txt несколько раз. Любые загрузки файлов с одинаковыми именами создают новые версии, а старые остаются доступными.

file_name = 'example.txt'
# Записываем первую версию файла
with open(file_name, 'w') as f:
    f.write('Первая версия файла')

s3.upload_file(file_name, bucket_name, file_name)

# Загружаем обновленную версию файла
with open(file_name, 'w') as f:
    f.write('Вторая версия файла')

s3.upload_file(file_name, bucket_name, file_name)

Теперь S3-хранилище хранит все версии этого объекта, их можно удалять или делать основными.

Версионирование объектов в панели управления Selectel.

Запросим все версии конкретного файла из кода:

versions = s3.list_object_versions(Bucket=bucket_name, Prefix=fi
for version in versions.get('Versions', []):
    print(f"Версия: {version['VersionId']} | Последний модифицированный: {version['LastModified']}")

В любой момент времени можно восстановить старую версию объекта как из API, так и через панель управления. Для этого перейдите на листинг объектов, выберете нужную версию и восстановите объект.

Восстановление объекта из версий замещает основной объект.

Версионирование объектов в S3-хранилище — это удобный инструмент для работы с изменяющимися файлами, защиты данных от случайного удаления и ведения истории изменений. Используя интерфейс панели управления, готовый клиент или S3, можно легко управлять версиями, восстанавливать файлы и автоматизировать обработку данных.

В этой статья я использовал код только для демонстрации версионирования в объектном хранилище Selectel ^[1]. Для большего удобства рекомендую использовать готовые приложения, поддерживающие такую функциональность из коробки. К ним относятся:

• aws cli ^[10],
• Rclone ^[11],
• s3cmd ^[12],
• cyberduck ^[13],
• s3fs ^[14] и другие.

Пользуясь случаем, выделю именно Rclone т. к. недавно мы стали официальными технологическими партнерами ^[15] и получили нативную поддержку нашей услуги в этом клиенте.

Если у вас есть вопросы или идеи по автоматизации работы с объектным хранилищем Selectel — пишите в комментариях!