Компания Apple отказалась от планов по внедрению сквозного шифрования в резервные копии в iCloud после того, как ФБР высказало опасения, что этот шаг может повредить расследованиям. Об этом сообщает агентство Reuters. Читать полностью »
Рубрика «хранение данных» - 20
Apple отказалась от планов внедрять сквозное шифрование в iCloud
2020-01-21 в 21:28, admin, рубрики: apple, iphone, информационная безопасность, облачные сервисы, смартфоны, хранение данных, шифрование, шифрование данныхХабра-детектив: у вас картинка потерялась
2020-01-19 в 8:11, admin, рубрики: backup, diy или сделай сам, habrastorage, habrbusters, hsto, веб-аналитика, визуализация данных, резервная копия, хабра-анализ, хабра-детектив, хранение данных
Вы когда-нибудь задумывались, сколько информации бесследно потеряно? Ведь информация — это то, ради чего Хабр существует. Знаете, что чаще всего случается с ресурсами основанными на пользовательских публикациях? Авторы вставляют изображения, картинки и видео со сторонних сайтов и через какое-то время они больше не доступны. Именно для этого когда-то был создан Habrastorage. Практика показала, что никто (кроме редакторов и нескольких энтузиастов) не загружает туда изображения самостоятельно. Потому в какой-то момент администрация Хабра сделала эту функцию автоматической — каждое изображение, которое встречается в публикации, автоматически загружается в хранилище и оттуда не пропадёт, пока существует сам Хабр. Конечно же, есть и исключения, но сейчас не о них.
Самая большая проблема во всей этой схеме с загрузкой изображений в Habrastorage произошла во время её внедрения. К тому моменту некоторые старые публикации уже были без рисунков, а потому такими и остались. Сегодня мы попробуем выяснить, сколько же графической информации потерял Хабр с момента своего рождения. Кроме того, может нам удастся найти что-то из пропавшего? Ведь раздражает эта заглушка "изображение не может быть загружено", не так ли? Сегодняшний детектив посвящён именно этому. Приступим!
Эффективное хранение сотен миллионов маленьких файлов. Self-Hosted решение
2020-01-17 в 11:23, admin, рубрики: bolt, Go, high availability, nginx reverse proxy, serverless, storage, хранение данных
Уважаемое сообщество, эта статья будет посвящена эффективному хранению и выдаче сотен миллионов маленьких файлов. На данном этапе предлагается конечное решение для POSIX совместимых файловых систем, в том числе кластерных, и вроде бы даже уже без костылей.
Поэтому для этой цели я написал свой собственный специализированный сервер.
По ходу реализации этой задачи удалось решить основную проблему, попутно добиться экономии дискового пространства и оперативной памяти, которую нещадно потребляла наша кластерная файловая система. Собственно такое количество файлов вредно для любой кластерной файловой системы. Читать полностью »
Что мы привезли на CES 2020: новые накопители и карты памяти
2020-01-14 в 13:14, admin, рубрики: ces 2020, DC1000B, KC600, Kingston, Kingston Canvas, PCIe NVMe, pcie ssd, SSD Grandview, SSD для ЦОД, Блог компании Kingston Technology, высокая производительность, Компьютерное железо, Накопители, накопитель, Топовый накопитель, хранение данныхПривет! В арсенале компании Kingston довольно много твердотельных решений корпоративного класса, среди которых DC500R, DC500M, DC1000M и не только. А после выставки потребительской электроники CES 2020 в семействе этих накопителей появилась еще одна интересная новинка для Data-центров — Kingston SSD DC1000B M.2 (2280) NVMe с 64-уровневой памятью 3D TLC NAND, функцией самошифрования (SED) поддержкой интерфейса PCI-Express 3.0 x4 и защитой от сбоев электропитания. Представители Kingston называют этот накопитель идеальным в качестве загрузочного “диска” для серверных стоек с одним или двумя слотами M.2 NVMe, что позволяет обеспечить быструю начальную загрузку системы при сохранении стандартных 2,5”-накопителей для фронтальной установки, на которых хранится основной массив данных.
Avito Kafka meetup: коннекторы, интеграция, облака
2020-01-14 в 10:37, admin, рубрики: kubernetes, meetup, postgresql, хранение данных, хранилища данныхПривет! В четверг, 23 января, пройдёт наш первый митап про Apache Kafka. Будем говорить об интеграции, source коннекторах и запуске масштабируемых приложений в Kubernetes. С докладами выступят инженеры Booking.com, Confluent и Авито.
Встречаемся в 18:00. Регистрируйтесь сами и приглашайте коллег. Под катом — анонсы выступлений, ссылка на регистрацию и видеотрансляцию митапа.
Автор Linux рассказал о проблемах с ZFS
2020-01-13 в 11:36, admin, рубрики: linux, oracle, zfs, zfsonlinux, надстройки, Настройка Linux, Торвальдс, хранение данных
Автор ОС Linux Линус Торвальдс считает, что основным препятствием для включения файловой системы ZFS в официальное ядро операционной системы является лицензионная политика Oracle. Так он отреагировал на критику изменений в ядре Linux, которые нарушили работу надстройку, обеспечивающей использование ZFS.
Оба проекта имеют открытый исходный код, но распространяются под разными лицензиями CDDL и GPLv2, которые не совместимы друг с другом. Чтобы обойти это ограничение, и использовалась надстройка. Читать полностью »
Что принёс нам Pandas 1.0
2020-01-13 в 7:41, admin, рубрики: data mining, pandas, python, машинное обучение, Программирование, хранение данных
9 января состоялся релиз Pandas 1.0.0rc. Предыдущая версия библиотеки — 0.25.
Первый мажорный релиз содержит множество замечательных нововведений, в том числе улучшенное автоматическое суммирование датафреймов, больше форматов вывода, новые типы данных и даже новый сайт документации.
Все изменения можно посмотреть здесь, в статье же мы ограничимся небольшим, менее техническим обзором самого главного.
Непричёсанные мысли по поводу формата сохранения: теория
2020-01-13 в 3:22, admin, рубрики: никто не читает теги, Проектирование и рефакторинг, сохранение в файл, форматы файлов, хранение данных
Начнём с вводных. Мы разрабатываем программу, которая будет сохранять свои данные в файл, и при этом…
- будет расширяться, и существенно (отпадают уровни и сохранения большинства игр: после пары патчей бросаем игру и пишем новую);
- тем не менее программа не рассчитывает на то, чтобы быть стандартом (отпадает LibreOffice). То есть по формату сохранения она должна быть совместима только с собой-старой и собой-новой;
- все её данные надо держать одномоментно в памяти; СУБД типа SQLite не даёт каких-то преимуществ (отпадают базы переписки в почте или мессенджере);
- но файл сохранения будет очень велик (отпадают программы фотопроявки вроде Lightroom, где документ — это всего лишь положения сотни-другой ползунков: мелочь по сравнению с 40-мегабайтным RAW);
- нет нужды в ручной корректировке файлов (отпадает пользовательский интерфейс типа «файл конфигурации», присущий, например, серверу Apache).
Таких программ на самом деле немало. Это AutoCAD, Photoshop, Microsoft Office (будем честными: даже пытаясь протащить его через ISO, «мелкомягкие» рассчитывали, что он будет совместим в первую очередь с самим собой).
И для простоты добавим ещё одно требование, которое отбросит все три этих программы, но довольно реалистичное (ему отвечают Windows 10 и куча программ помельче).
- программа разрабатывается по непрерывной схеме, так что нет денежных барьеров обновляться, а достаточно старые версии программы по факту неподдерживаемые.Читать полностью »
Разработка сервисов и IaaS: подборка материалов об облаке, хранении данных и эволюции «1cloud»
2020-01-11 в 15:43, admin, рубрики: 1cloud, iaas, Блог компании 1cloud.ru, дайджест, облако, ПД, политики IT-компаний, Разработка под e-commerce, разработка сервисов, хранение данныхРазбираемся с законом о ПД, рассказываем, как эволюционировала инфраструктура 1cloud.ru, обсуждаем изменения в политиках ИТ-компаний и развитие облачных экосистем.
5.8 млн IOPS: зачем так много?
2019-12-30 в 12:13, admin, рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данныхПривет! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на Supercomputing-2019. Это применение Hi-End систем хранения данных (СХД) в серверах с графическими процессорами (GPU) и технологией шины GPUDirect Storage. Благодаря прямому обмену данными между СХД и GPU, минуя CPU, на порядок ускоряется загрузка данных в GPU-ускорители, поэтому приложения Big Data выполняются на максимуме производительности, которую обеспечивают GPU. В свою очередь, разработчиков HPC-систем интересуют достижения в области СХД с высочайшей скоростью ввода/вывода — таких, какие выпускает Kingston.
