Прим. перев.: в этом материале, опубликованном прошлой весной в блоге Dropbox, инженеры компании рассказывают о том, какие проблемы были у их монолита, жившего аж с 2007 года, что они предприняли для их решения и какой результат это принесло.
Рубрика «DropBox»
Atlas: Путешествие Dropbox от монолита на Python до managed-платформы
2022-02-17 в 6:57, admin, рубрики: DropBox, grpc, service-oriented architecture, Анализ и проектирование систем, Блог компании Флант, микросервисы, монолит, Проектирование и рефакторингКак машинное обучение позволило Dropbox экономить ежегодно 1,7 миллиона долларов
2021-01-29 в 9:07, admin, рубрики: DropBox, Блог компании VDSina.ru, инфраструктура, искусственный интеллект, искуственный интеллект, машинное обучение, обработка данных, обработка текста, финансы в IT
Недавно благодаря предсказательной мощи машинного обучения (machine learning, ML) мы обеспечили экономию 1,7 миллионов долларов в год на инфраструктурных тратах, оптимизировав процесс генерации и кэширования превью документов Dropbox. Машинное обучение и раньше применялось в Dropbox для таких хорошо известных функций, как поиск, рекомендации файлов и папок, а также OCR при сканировании документов. Хоть и не все сферы применения ML непосредственно видны пользователю, они всё равно изнутри влияют на развитие бизнеса.
Что такое превью?
Функция Dropbox Previews позволяет пользователям просматривать файл без скачивания контента. В дополнение к превью-миниатюрам Dropbox имеет интерактивную поверхность Previews с возможностью обмена между пользователями и совместной работы, в том числе использования комментарии и тегирования других пользователей.
Читать полностью »
Как мы в Dropbox перешли с Nginx на Envoy
2020-08-02 в 19:52, admin, рубрики: bazel, devops, DropBox, envoy, golang, nginx, Блог компании Southbridge, Серверное администрирование, системное администрированиеВ этой статье мы будем говорить о нашей старой инфраструктуре, основанной на Nginx, ее болячках, а также выгоде, которую мы получили после миграции на Envoy. Мы сравним Nginx и Envoy различными способами. Также кратко коснемся процесса миграции, текущего состояния, а также проблем, возникших при переходе.
Мониторинг безопасности облаков. Часть 2
2019-09-22 в 15:04, admin, рубрики: Cisco, cloudlock, DropBox, salesforce.com, SIEM, SoC, Блог компании Cisco, информационная безопасность, облачные сервисы, облачные хранилищаИтак, я продолжу статью, посвященную мониторингу безопасности облачных провайдеров. В первой части я рассказывал об опыте Cisco в работе с внешними облачными сервисами, а также о наблюдениях Cisco, с которым мы столкнулись при построении или аудите SOCов наших заказчиков. Взяв в первой части в качестве примера три самых популярных решения от компаний Amazon, Microsoft и Google, которые являются IaaS/PaaS-платформами, сегодня наступила пора поговорить о мониторинге SaaS-платформ — Dropbox, Salesforce.com, Slack и Apple Business Manager, а также о том, какие SIEM сегодня лучше всего подходят для мониторинга облачных платформ.
Пример: Мониторинг ИБ в SaaS на базе Dropbox
Если на базе AWS, Azure или GCP вы можете создать почти полный аналог своей корпоративной инфраструктуры, только в облаке, то есть облачные сервисы, которые выполняют одну конкретную задачу, например, файловое хранилище, как это делает Dropbox. Этот сервис давно вышел за рамки обычной пользовательской хранилки, предоставляя своим корпоративным пользователям целый набор защитных механизмов:
- идентификацию и аутентификацию пользователей
- контроль доступа к файлам
- удаленное удаление данных
- управление доверенными устройствами
- интеграцию с внешними решениями по ИБ (DLP, SSO, DRM, eDiscovery, SIEM и т.п.)
- регистрация событий безопасности.
Выбираем систему хранения файлов для командной работы
2019-02-27 в 13:53, admin, рубрики: Citrix Sharefile, DropBox, google drive, onedrive, облачные сервисы, управление проектами, управление разработкой, хранение данных, хранилища данных
Мы работаем с большими объемами медиа данных: видео, рендеры, фото, иллюстрации. Чтобы обеспечивать коллективную работу, нам нужен постоянный общий доступ ко всем этим файлам.
В какой-то момент нам перестало хватать собственного сервера, и мы начали искать облачное хранилище, удовлетворяющее нашим запросам.
Мы сравним популярные облачные хранилища для бизнеса: Google Drive, DropBox, Citrix ShareFile и Microsoft OneDrive.
Наши требования к облачному хранилищу:
- Безлимитный объем данных — у нас много данных, в среднем около 10ТБ. Не хочется постоянно думать сколько нужно докупить места в этом месяце и почему вдруг кончилась квота.
- Версионность файлов и логирование — git приучил нас, что все изменения можно видеть и откатить. Поэтому и с файлами должны быть точно так же: любое изменение, удаление должно быть обратимо и легко контролироваться.
- Права доступа — никаких больше общих папок доступных всем. Каждый сотрудник должен иметь свою область видимости.
- Upload без регистрации — клиенты не должны больше искать файлообменники, чтобы прислать нам тяжелый файл. Файлы должны сразу загружаться в наше хранилище без промежуточных сервисов.
Исследуем пределы пропускной способности Kafka в инфраструктуре Dropbox
2019-02-14 в 8:01, admin, рубрики: Apache, apache kafka, DropBox, ITSumma, open source, Блог компании ITSumma, брокер сообщений, высокая производительность, инфраструктура, облачные сервисы, облачные технологии, потоки, потоковые данные, производительность, тестирование, Тестирование веб-сервисов
Широкое использование технологий Apache-стека — очевидный тренд. И Kafka на острие популярности: нынче людей, знающих такой брокер сообщений, пожалуй, превосходит количество тех, кто привык рядом со словом Кафка видеть слово Франц.
Мы и сами активно используем эту технологию в наших проектах. Но ведь всегда интересно, а как оно получается у других? И вдвойне интересно, если это не просто пример из чьей-то практики, а целенаправленное тестирование технологии. Поэтому мы перевели свежую статью, в которой рассказывается о том, как Dropbox опытным путём искал границы возможностей и лимиты выносливости у Kafka. И нашёл что хотел.
Courier: миграция Dropbox на gRPC
2019-02-05 в 16:01, admin, рубрики: DropBox, grpc, python, RPC, TLS, Блог компании Badoo, высокая производительность, Программирование, Разработка веб-сайтов, Серверная оптимизация
Примечание переводчика
Большинство современных программных продуктов не являются монолитными, а состоят из множества частей, которые взаимодействуют друг с другом. При таком положении дел необходимо, чтобы общение взаимодействующих частей системы происходило на одном языке (притом что сами эти части могут быть написаны на разных языках программирования и выполняться на разных машинах). Упростить решение этой задачи помогает gRPC — open-source-фреймворк от Google, выпущенный в 2015 году. Он решает сразу ряд проблем, позволяя:
- использовать язык Protocol Buffers для описания взаимодействия сервисов;
- генерировать программный код на основании описанного протокола для 11 разных языков как для клиентской части, так и для серверной;
- реализовать авторизацию между взаимодействующими компонентами;
- использовать как синхронное, так и асинхронное взаимодействие.
gRPC показался мне довольно интересным фреймворком, и мне было интересно узнать про реальный опыт компании Dropbox по построению системы на его основе. В статье есть масса деталей, связанных с использованием шифрования, построением надёжной, наблюдаемой и производительной системы, процессом миграции со старого RPC-решения на новое.
Дисклеймер
Оригинальная статья не содержит описания gRPC, и некоторые моменты могут показаться вам непонятными. Если вы не знакомы с gRPC или другими подобными фреймворками (например, Apache Thrift), рекомендую предварительно ознакомиться с основными идеями (достаточно будет прочитать две небольшие статьи с официального сайта: «What is gRPC?» и «gRPC Concepts»).
Спасибо Алексею Иванову aka SaveTheRbtz за написание оригинальной статьи и помощь с переводом трудных мест.
Мой однострочный клиент Dropbox под Linux
2018-12-26 в 14:51, admin, рубрики: DropBox, entr, open source, rclone, systemd, криптография, облачные сервисы, Софт, хранение данныхХочу рассказать о своей попытке создать простой однострочный клиент Dropbox под Linux, используя только бесплатные компоненты с открытым исходным кодом, в том числе rclone, entr и systemd.
Контекст
Недавно проприетарный клиент Dropbox под Linux отказался от поддержки всех файловых систем Linux, кроме незашифрованной ext4. А мой домашний каталог, «к сожалению», зашифрован.
В начале декабря проприетарный клиент перестал работать. Он вышел из системы и предложил выбрать другую папку синхронизации в «поддерживаемой файловой системе».
Читать полностью »
Инвестиционная подборка: 4 крупнейших IPO технологических компаний-единорогов в 2019 году
2018-12-22 в 14:51, admin, рубрики: airbnb, DocuSign, DropBox, ipo, lyft, slack, tencent, uber, биржа, Блог компании ITI Capital, финансы, финансы в IT
Изображение: Unsplash
Технологические компании, чья оценка достигает $1 млрд называют единорогами. В текущем году состоялось 38 IPO таких компаний. Это наибольшее число со времене «краха доткомов» в 2000 году. Аналитики прогнозируют, что этот рекорд будет побит уже в следующем году.
Портал Investopedia отобрал самые перспективыне и крупнейшией IPO компаний-единорогов, которые имеют все шансы состоятся в 2019 году. Посмотрим, в какие акции вскоре смогут вложиться инвесторы со всего мира.Читать полностью »
Перенос конфигурации АТС в сервис 3CX PBX Express
2018-12-16 в 14:20, admin, рубрики: 3cx, DropBox, google drive, onedrive, PBX Express, Блог компании 3CX Ltd., отказоустойчивость, резервное копирование, Серверное администрирование, Сетевые технологии, системное администрированиеВ этой статье мы расскажем, как в сервисе 3CX PBX Express восстанавливать резервные копии существующих инсталляций АТС. Возможность восстановления конфигурации позволяет, например, переместить локальный сервер в облако, сменить хостинг или восстановить АТС в облаке после серьезного локального сбоя. Единственное требование при перемещении конфигурации — опция «Данные лицензии и FQDN имени» в резервной копии должна быть включена.
Перед перемещением вашей АТС в сервис PBX Express обратите внимание на следующее:Читать полностью »