Рубрика «хранение данных» - 40

в 8:56, , рубрики: github, улучшение образования, учебные материалы, Учебный процесс в IT, хранение данных

Кратко о ситуации в ВУЗах (личный опыт)

Для начала стоит оговорить, что изложенный материал субъективен, так сказать "взгляд изнутри", но по ощущениям информация актуальна для многих государственных ВУЗов постсоветского пространства.

Ввиду спроса на специалистов ИТ, многие учебные заведение открыли соответствующие направления подготовки. Более того, даже до студентов вовсе не "айтишных" специальностей дошло множество предметов ИТ-ого профиля, зачастую это Python, R, менее везучим многим приходится осваивать "пыльные" учебные языки, вроде Pascal.

Если посмотреть глубже, то все не так просто. Не все преподаватели успевают за "трендами". Лично я, учась на "программистской" специальности столкнулся с тем, что у некоторых преподавателей нет актуальных конспектов лекций. Если говорить точнее, преподаватель скинул старосте на флешку фото конспектов, написанных от руки каким-то студентом. Об актуальности таких материалов как методички по WEB-программированию (2010-ого года) я вовсе молчу. Также остается догадываться, касательно того, что происходит в техникумах и худших из худших учебных заведениях.

Читать полностью »

в 14:28, , рубрики: big data, JupyterHub, python, Блог компании ВТБ, втб, машинное обучение, хранение данных

Наша история началась с, казалось бы, несложной задачи. Нужно было настроить аналитические инструменты для для data science специалистов и просто аналитиков данных. С таким заданием к нам обратились коллеги из подразделений розничных рисков и CRM, где исторически высока концентрация data science-специалистов. У заказчиков было простое желание —  писать код на Python, импортировать продвинутые библиотеки (xgboost, pytorch, tensorflow и пр.) и запускать алгоритмы на данных, поднятых с hdfs-кластера.

Что позволено Jupyter? - 1

Вроде бы все просто и понятно. Но подводных камней оказалось так много, что мы решили написать об этом пост и выложить готовое решение на GitHub.
Читать полностью »

в 17:42, , рубрики: ITGLOBAL, Блог компании ITGLOBAL.COM, ИТ-ГЛОБАЛ, хранение данных

В начале этого года группа инженеров из Нидерландов представила новый способ хранения данных. Он объединил методы магнитной и оптической записи и обладает большей производительностью, чем классические жёсткие диски.

Данные на диск запишут с помощью магнитов и лазеров - 1Читать полностью »

в 11:54, , рубрики: greenplum, sql, Администрирование баз данных, базы данных, Блог компании Ростелеком, Ростелеком, хранение данных

5 лайфхаков оптимизации SQL-запросов в Greenplum - 1

Любые процессы, связанные с базой, рано или поздно сталкиваются с проблемами производительности запросов к этой базе.

Хранилище данных Ростелекома построено на Greenplum, большая часть вычислений (transform) производится sql-запросами, которые запускает (либо генерирует и запускает) ETL-механизм. СУБД имеет свои нюансы, существенно влияющие на производительность. Данная статья — попытка выделить наиболее критичные, с точки зрения производительности, аспекты работы с Greenplum и поделиться опытом.

В двух словах о Greenplum

Greenplum — MPP сервер БД, ядро которого построено на PostgreSql.

Представляет собой несколько разных экземпляров процесса PostgreSql (инстансы). Один из них является точкой входа для клиента и называется master instance (master), все остальные — Segment instanсe (segment, Независимые инстансы, на каждом из которых хранится своя порция данных). На каждом сервере (segment host) может быть запущено от одного до нескольких сервисов (segment). Делается это для того, чтобы лучше утилизировать ресурсы серверов и в первую очередь процессоры. Мастер хранит метаданные, отвечает за связь клиентов с данными, а также распределяет работу между сегментами.

5 лайфхаков оптимизации SQL-запросов в Greenplum - 2

Подробнее можно почитать в официальной документации.

Далее в статье будет много отсылок к плану запроса. Информацию для Greenplum можно получить тут.

Как писать хорошие запросы на Greenplum (ну или хотя бы не совсем печальные)

Читать полностью »

в 8:39, , рубрики: Business Intelligence, ERP-системы, Google Cloud Platform, Microsoft SQL Server, olap, колоночные субд, сжатие данных, хранение данных

Базы данных можно реализовать с помощью Excel, GSheet или при помощи больших ORM систем. В своей практике бизнес-аналитика я сталкивался с разными решениями. А поскольку в бизнес-анализ я пришёл из финансов и аудита, то каждый раз встречая новую систему задавался вопросами — чем все они отличаются друг от друга и какие задачи решают? Некоторые ответы нашёл. В этой статье будет рассмотрено два основных назначения баз данных:

1 — учёт операций,
2 — анализ данных

Читать полностью »

в 14:29, , рубрики: hdd, Блог компании ИТ-ГРАД, ИТ-ГРАД, надежность дисков, хранение данных, хранилища данных

Поломки жёстких дисков — одна из главных причин простоя серверов в дата-центрах. Но в последнее время число отказов HDD сокращается. Расскажем, почему так происходит.

Почему HDD стали реже выходить из строя - 1Читать полностью »

в 9:10, , рубрики: big data, pandas, python, анализ данных, Анализ и проектирование систем, Блог компании RUVDS.com, хранение данных

При использовании библиотеки pandas для анализа маленьких наборов данных, размер которых не превышает 100 мегабайт, производительность редко становится проблемой. Но когда речь идёт об исследовании наборов данных, размеры которых могут достигать нескольких гигабайт, проблемы с производительностью могут приводить к значительному увеличению длительности анализа данных и даже могут становиться причиной невозможности проведения анализа из-за нехватки памяти.

В то время как инструменты наподобие Spark могут эффективно обрабатывать большие наборы данных (от сотен гигабайт до нескольких терабайт), для того чтобы полноценно пользоваться их возможностями обычно нужно достаточно мощное и дорогое аппаратное обеспечение. И, в сравнении с pandas, они не отличаются богатыми наборами средств для качественного проведения очистки, исследования и анализа данных. Для наборов данных средних размеров лучше всего попытаться более эффективно использовать pandas, а не переходить на другие инструменты.

Руководство по использованию pandas для анализа больших наборов данных - 1

В материале, перевод которого мы публикуем сегодня, мы поговорим об особенностях работы с памятью при использовании pandas, и о том, как, просто подбирая подходящие типы данных, хранящихся в столбцах табличных структур данных DataFrame, снизить потребление памяти почти на 90%.
Читать полностью »

в 12:45, , рубрики: java, Алгоритмы, бинарные деревья, хранение данных

Прелюдия

Эта статья посвящена бинарным деревьям поиска. Недавно делал статью про сжатие данных методом Хаффмана. Там я не очень обращал внимание на бинарные деревья, ибо методы поиска, вставки, удаления не были актуальны. Теперь решил написать статью именно про деревья. Пожалуй, начнем.

Дерево — структура данных, состоящая из узлов, соединенных ребрами. Можно сказать, что дерево — частный случай графа. Вот пример дерева:

Бинарные деревья поиска - 1

Это не бинарное дерево поиска! Все под кат!
Читать полностью »

в 13:13, , рубрики: rANS, Алгоритмы, архиватор, Блог компании Playrix, сжатие данных, хранение данных

Эта статья может быть интересна тем, кто занимается сжатием данных или хочет написать собственный архиватор.

Энтропийное кодирование rANS или как написать собственный архиватор - 1

Статья написана, в основном, по материалам блога, который ведёт Fabian Giesen.
Читать полностью »

в 13:53, , рубрики: Citrix Sharefile, DropBox, google drive, onedrive, облачные сервисы, управление проектами, управление разработкой, хранение данных, хранилища данных

Выбираем систему хранения файлов для командной работы - 1

Мы работаем с большими объемами медиа данных: видео, рендеры, фото, иллюстрации. Чтобы обеспечивать коллективную работу, нам нужен постоянный общий доступ ко всем этим файлам.

В какой-то момент нам перестало хватать собственного сервера, и мы начали искать облачное хранилище, удовлетворяющее нашим запросам.

Мы сравним популярные облачные хранилища для бизнеса: Google Drive, DropBox, Citrix ShareFile и Microsoft OneDrive.

Наши требования к облачному хранилищу:

  • Безлимитный объем данных — у нас много данных, в среднем около 10ТБ. Не хочется постоянно думать сколько нужно докупить места в этом месяце и почему вдруг кончилась квота.
  • Версионность файлов и логирование — git приучил нас, что все изменения можно видеть и откатить. Поэтому и с файлами должны быть точно так же: любое изменение, удаление должно быть обратимо и легко контролироваться.
  • Права доступа — никаких больше общих папок доступных всем. Каждый сотрудник должен иметь свою область видимости.
  • Upload без регистрации — клиенты не должны больше искать файлообменники, чтобы прислать нам тяжелый файл. Файлы должны сразу загружаться в наше хранилище без промежуточных сервисов.

Читать полностью »

1...1020...394041...5060...112
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js