Сегодня компания Яндекс опубликовала грустную, по крайней мере для меня, новость. Кратко суть новости звучит так: раньше на Народ можно было заливать неограниченное число файлов через веб, и до 5 ГБ размером. Теперь через веб можно заливать только файлы размером 2 ГБ, а что бы залить файл в 5 ГБ необходимо установить Диск к себе на устройство. Теперь место для хранения файлов строго ограничено и изначально составляет 5 ГБ, после установки Диск на любое устройство, и заливки любого файла, место увеличится до 10 ГБ, а если ещё левых емейлов зарегистрируете с друзьями ссылками поделитесь, то до 20 ГБ. Это и есть максимальный объём доступного бесплатного пространства, т.е. 20 ГБ. Самое не приятное это то, что увеличить место нельзя даже за деньги, хотя Яндекс уверяет, что в будущем это будет возможно. До кучи в Диске отсутствует частичная синхронизация, т.е. все файлы вам придётся хранить локально. По сути это означает, что Диск невозможно полноценно использовать на большинстве мобильных устройств, да и на компьютерах место, в обязательном порядке, тоже придётся выделить.
Читать полностью »
Рубрика «хранилище данных» - 6
Сегодня сервис Яндекс Народ был присоединён к Яндекс Диск, посмотрим что получилось
2013-01-17 в 13:21, admin, рубрики: обмен файлами, Сетевые технологии, хранилище данных, яндекс, Яндекс.Диск, метки: обмен файлами, хранилище данных, яндекс, Яндекс.ДискAmazon Redshift: новое хранилище данных на петабайты
2012-11-28 в 20:55, admin, рубрики: amazon s3, Amazon Web Services, AWS, data warehouse, хранилище данных, метки: amazon s3, aws, data warehouse, хранилище данныхКомпания Amazon выкатила принципиально новый сервис Redshift для хранения баз данных размером от нескольких сотен гигабайт до многих петабайт. Продукт нацелен на корпоративных заказчиков, которых сдерживает ограничение в 1 терабайт традиционной RDS, при этом хотят пользоваться привычными SQL-приложениями и гарантировать мгновенную доступность данных.
Кластер Redshift поднимается в пару щелчков мыши из административной панели AWS. Стоимость хранения данных здесь сравнима с обычным S3 и зависит от типа кластера и тарифного плана. Например, на трёхлетнем плане она составляет $999 за терабайт в год.
Читать полностью »
Методы борьбы с одиночеством на примере DS112+
2012-09-06 в 9:06, admin, рубрики: CFI, DAS, NAS, Synology, Блог компании Synology, Железо, Сетевое оборудование, хранилище данных, метки: CFI, DAS, NAS, Synology, хранилище данных 
С ситуацией, когда заканчивается место для хранения данных, пользователи регулярно сталкиваются как дома, так и на работе. Это может быть и новый смартфон, и ПК или даже сетевой накопитель. Если с телефоном и компьютером вопрос решается покупкой дополнительных карт памяти или жестких дисков, то как быть с NAS, особенно, если он однодисковый? Как не потерять данные, если жесткий диск выйдет из строя? Итак, если на однодисковом NAS закончилось место, то решение одно — как-то «добавить». Это можно реализовать с помощью внешнего диска, флешки или DAS-накопителя, обладающего повышенной надежностью хранения в сравнении с альтернативными вариантами. Сразу появляются два вопроса: смогут ли они «подружиться»? И можно ли говорить о высоких или хотя бы достаточных для нормальной работы скоростях обмена данными.
В роли объекта исследования возьмем Synology DS112+, который является одним из самых производительных среди одно- и двухдисковых NAS в линейке Synology. Данный накопитель оснащен всеми современными интерфейсами и сможет предоставить нам максимальное представление о возможностях NAS по включению в сеть внешних хранилищ.
Читать полностью »
Бизнес-анализ в социальной сети Одноклассники
2012-08-13 в 11:48, admin, рубрики: big data, dwh, monitoring, sql, бизнес-анализ, Блог компании Одноклассники, статистика, хранилище данных, метки: big data, dwh, monitoring, sql, бизнес-анализ, статистика, хранилище данных 
Этот пост о системах статистики в Одноклассниках. В нем будет рассказано о том, для чего нам нужна статистика, и какие у нас есть системы для работы с ней. В следующих постах детально опишем:
• архитектуру систем;
• основные компоненты систем и алгоритмы;
• нетривиальные проблемы и способы их решенияЧитать полностью »
Скрипт для сравнения двух БД Oracle
2012-07-27 в 10:47, admin, рубрики: oracle, Администрирование баз данных, деплой, хранилище данных, метки: oracle, деплой, хранилище данныхПроцесс выката новых версий ETL на продуктив всегда процесс волнующий. Редко когда среда разработки полностью соответствует среде эксплуатации, в моем предыдущем проекте различались в том числе ОС и железо, на которых велась разработка и эксплуатация ХД.
Хорошо хоть база данных использовалась одна и та же — Oracle. Для того, чтобы убрать максимальное количество различий между настройками и содержимым продуктивной и разработческой БД мой коллега подготовил скрипт, собирающий, и, что очень важно, правильно форматирующий вывод в файл, скрипт, позволяющий сравнивать две БД.
После такого сравнения и унификации многие, зачастую неожиданные, проблемы при деплое должны будут найтись немного раньше, на этапе тестирования, т.е. при деплое с ДЕВа на СИТ. А определенное количество устаревших маппингов OWB или таблиц можно будет удалить с ПРОД системы.
Возможности сравнения нескольких БД присутствуют в некоторых утилитах разработки и администрирования БД, в частности данный набор скриптов получен из Toad. Мой коллега просто выбрал необходимые параметры для сравнения, которых, я думаю, будет достаточно для начала и вам, а уж если вы используете кластеризацию таблиц или что-то более сложное добавить вывод этих объектов для сравнительного анализа сможете сами.
Сформированные файлы (db_info.txt с ДЕВа и такой же с ПРОДа) можно, в дальнейшем, сравнивать утилитами типа WinDiff и решить, где значение вернее и какое из них оставить.
Читать полностью »
Дисковые массивы Dell EqualLogic
2012-07-25 в 10:12, admin, рубрики: Блог компании Dell, высокая производительность, Железо, ит-инфраструктура, масштабируемость, сервера, СХД, хранилище данных, цод, метки: железо, масштабируемость, сервера, СХД, хранилище данных, цод Мы продолжаем цикл рассказов про оборудование и решения Dell для бизнеса: серверы, системы хранения данных, резервное копирование, сетевые устройства и прочее.
Сегодня мы хотим вам рассказать про характеристики и способы применения новейшего поколения систем хранения данных Dell EqualLogic: модных, красивых — а главное, эффективных, производительных и удобных с точки зрения масштабирования.
Внимание, системные администраторы компаний, сталкивающиеся со сложностью хранения больших объемов данных и потребностью обеспечить себе удобный контроль над сетевым хранением информации (нефтегазовая сфера, финансовые учреждения, ИТ-компании) — вам это может быть интересно! Кроме прочего, мы расскажем и том, почему подход Dell удобен с точки зрения развития бизнеса. Ведь никто не покупает железо корпоративного класса на один день, и сколько-нибудь серьезный производитель всегда обязан держать в уме защиту серьезных инвестиций своих клиентов. Читать полностью »
Эволюция аналитической инфраструктуры (продолжение)
2012-07-06 в 10:28, admin, рубрики: datawarehouse, sql, Vertica, Администрирование баз данных, базы данных, Блог компании «LifeStreet Media», хранилище данных, метки: datawarehouse, Vertica, базы данных, хранилище данныхВ предыдущей статье я рассказал, как и почему мы выбрали Вертику. В этой части я постараюсь рассказать об особенностях этой необычной базы данных, которой мы пользуемся уже более двух лет. Написание этой статьи заняло несколько больше времени, чем я планировал, в частности из-за того, что надо было рассказать с одной стороны достаточно технически подробно, с другой — доступно, и при этом не нарушить NDA. В результате я пошел по компромиссному пути: я попытаюсь описать, как Вертика устроена и работает в принципе, не касаясь деталей.
Часть 3. Vertica. Simply Fast
Simply Fast — этот вертиковский слоган возник не на пустом месте. Она, действительно, очень быстрая. Быстрая даже с “коробочными” настройками, что показали наши тесты во время выбора решения. В процессе миграции инфраструктуры мы хорошо изучили, как сделать Вертику еще быстрее и получать от нее максимальную производительность. Но обо всем по порядку.
Читать полностью »
Резервирование больших данных
2012-06-21 в 10:33, admin, рубрики: datawarehouse, Администрирование баз данных, базы данных, Блог компании «LifeStreet Media», бэкапы, хранилище данных, метки: datawarehouse, базы данных, бэкапы, хранилище данныхПри проектировании и эксплуатации нашего хранилища данных, несколько раз возникал вопрос, как делать бэкапы или репликацию. Я на него неизменно давал один и тот же ответ — никак. Объясню немного почему.
Бэкапы больших баз данных (от сотен гагабайт и выше) достаточно бесполезное занятие по одной простой причине: восстановление из бэкапа может занять дни. Если база данных используется постоянно для ведения бизнеса и в нее непрерывным потоком грузятся данные — это неприемлимо. Несколько лучше обстоит дело в случае инкрементального бэкапа на резервную систему, которую можно включить прямо поверх бэкапа. Однако, такой способ подходит не для всех баз данных, а только на тех, которые не меняют однажды записанные на диск файлы. Например, для MySQL этот способ плохо подходит, все таблицы лежат или в едином tablespace (InnoDB), или в отдельных файлах (MyISAM). Для Вертики — это возможный вариант, так как данные записываются в безличных файлах, которые не меняются после записи, а только удаляются. Однако, в случае кластерных систем необходимо обеспечивать идентичную топологию основной и резервной систем. Также могут возникнуть проблемы с целостностью данных в случае сбоя основной системы.
Иногда для поддержания резервной системы используют репликацию. Но надо понимать, что репликация довольно сильно просаживает производительность, так как требует записи бинарного лога, а если репликация синхронная, то и синхронизации. В аналитических приложениях с большим потоком данных, когда требуется постоянно грузить в базу данных тысячи или десятки тысяч записей в секунду, это может быть неприемлимо.
Что же делать?Читать полностью »
Метрики Хранилища Данных
2012-06-10 в 14:10, admin, рубрики: oracle, sql, Администрирование баз данных, базы данных, метрики, хранилище данных, метки: базы данных, метрики, хранилище данныхПриветствую.
Создавая, или даже поддерживая, существующее хранилище данных, неизбежно возникает такой этап, когда множественность желаний пользователей встречается с неизбежностью физических ограничений той СУБД, которая используется для хранилища. В действительности, никто не может иметь бесконечного места на диске, процессорной мощности или сколь угодно долгого времени на обновление данных.
В этот момент у руководства могут возникнуть вопросы, если они не возникли ранее, что именно занимает так много места в БД, почему загрузка до сих пор не закончилась и прочее подобное.
Чтобы знать, что отвечать, необходимо провести учет. Создание ХД — процесс длительный, люди, разрабатывавшие архитектуру могут быть уже далеко, я не говорю уже о том, что бизнес требования меняются, иногда, так же быстро, как выходят новые версии браузера Firefox.
Читать полностью »
Selectel Storage — облачное хранилище
2012-05-16 в 10:33, admin, рубрики: cloud, selectel, storage, Блог компании Селектел, облако, облачное хранилище, селектел, хостинг, хранилище, хранилище данных, метки: cloud, selectel, storage, облако, облачное хранилище, селектел, хранилище, хранилище данныхЧто мы предлагаем?
Selectel Storage — облачное объектное хранилище данных на базе OpenStack Swift.
Для чего?
Для удобного, простого и дешевого хранения резервных копий файлов и раздачи статичных файлов (изображения, аудио, видео, js, css) для веб-сайтов и приложений.
Читать полностью »