Рассматривая разные технологии хранения данных и решения, предлагаемые компанией LSI, мы немного подзабыли о практически-прикладном смысле этого всего. Зачем нужны все возрастающие скорости и емкости дисков? Одно из первых, приходящих в голову применений — это, конечно, Big Data или Большие данные. Чем же эти Большие данные отличаются от просто больших, чтоб заслужить написание с большой буквы? Обычно это называют «правило трех V».
Метка «данные»
Прогноз погоды
2013-09-20 в 14:33, admin, рубрики: big data, LSI, Большие данные, данные, метки: big data, LSI, Большие данные, данные
Hello, Russia!
2013-09-04 в 11:06, admin, рубрики: acronis, acronis true image, backup, disaster recovery, Блог компании Acronis, Inc, виртуализация, Восстановление данных, данные, дедупликация, метки: Acronis, acronis true image, backup, disaster recovery, виртуализация, данные, дедупликация 
В компьютерном мире начинать принято с мантры «Hello, world!», но мы на свой страх и риск решили нарушить этот акт инициации ввиду уважительных причин. На этот самый world и так пишется много всякого маркетингового материала, а тут мы решили рассказать исключительно русскоязычной аудитории о накипевшем наборе технологий, из которых мы собираем наши продукты и сервисы.
Читать полностью »
Борьба с мельницами или «О безопасности с умом»
2013-04-24 в 9:55, admin, рубрики: rdp, windows, данные, информационная безопасность, ненормальное программирование, метки: rdp, windows, данныеС развитием интернет удаленная работа уже не кажется чем-то необычным. На практике встречаются случаи, когда заказчик предоставляет «Рабочее место», а работник имеет к нему удаленный доступ для выполнения поставленных задач. Для достаточно крупного заказчика, у которого есть своя служба безопасности встает проблема защиты от утечки информации, которую пытаются решать таким варварским способом, как отключением буфера обмена и запрета передачи файлов между терминалом (за которым физически работает исполнитель) и удаленным рабочим местом.
В статье будут затронуты вопросы:
- Работают ли реально эти технические ограничения?
- Как сказываются эти ограничения на заказчике и исполнителе?
- Что делать в итоге?
Microsoft показала «умный» Excel — «формулы» можно задавать на «обычном» языке
2013-03-23 в 19:37, admin, рубрики: data mining, Excel, office, данные, естественный язык, искусственный интеллект, Программирование, управление, метки: Excel, office, данные, естественный язык, управлениеРесурс MSFT Kitchen опубликовал видео с Microsoft TechFest, в котором продемонстрирована работа проекта Project Analyze исследовательского подразделения Microsoft Research. Суть проекта заключается в том, что работа с табличным процессором Excel производится не путём ввода формул и щёлкания по ячейкам, а при помощи команд, похожих на естественный английский язык.
Начиная с первой минуты видео (всего около 8 минут), демонстрируется в качестве примера финансовый документ с готовыми данными, в котором требуется получить ещё одно поле, складывая два последних — Base pay и Of pay. Обычный действия заключаются в том, что необходимо разместить курсор в нужной ячейке, ввести в неё формулу и «протащить» её до нужного диапазона. Вместо этого в поле для формулы вводится команда "add the base pay and of pay" и в итоге Excel заполняет поле, складывая указанные в «формуле» значения ячеек в указанных столбцах. Примерно также находится и сумма — командой "add up".
Далее показана работа команд, в которых легко угадываются foreach или некое подобие WHERE в SQL (вообще сильно похоже на SQL), что, в принципе, делает показанные примеры не вполне впечатляющими. Однако, оказывается системе можно задать и не вполне «стандартный» вопрос "who has a pay larger than average" (в итоге нужные поля Excel подсвечивает), что уже более похоже на обычную речь и выглядит более эффектно. К сожалению, на этом «естественные» вопросы более не показаны, так что о дальнейших особенностях системы можно только догадываться. Тем не менее, вероятно, будущие версии Excel (в Office 16)будут обладать некоторым подобием «естественного языка формул» или, возможно, неким подобием голосового управления, что в свете таких проектов как Siri выглядит уже вполне реально.
Читать полностью »
Сложности накопления данных для интеллектуального анализа
2012-10-14 в 22:34, admin, рубрики: data mining, анализ, анализ данных, Анализ и проектирование систем, данные, Песочница, метки: data mining, анализ, анализ данных, данные 
Аннотация
Данная статья посвящена актуальной на сегодняшний день проблеме сложности накопления данных для проведения интеллектуального анализа. Введены основные понятия: данные и интеллектуальный анализ. Рассмотрены сложности, относящиеся к накоплению данных, при ситуации, когда необходимо разработать базу с нуля и наполнить её данными. Автором предложены рекомендации по снижению риска появления описанных проблем.
Читать полностью »
Facebook хранит данные в одном дата-центре и обрабатывает 500 Тб данных в день
2012-08-23 в 18:22, admin, рубрики: Facebook, высокая производительность, данные, метки: Facebook, данныеВице-президент по инфраструктуре крупнейшей социальной сети мира, которая переживает не лучшие дни на фондовой бирже, Джей Перикх (Jay Parikh) рассказал журналистам о некоторых статистических показателях работы своей компании, что позволяет оценить масштаб данных и число пользователей, активно работающих с Facebook.
Прежде всего оказалось, что в отличие от многих компаний, которые строят распределённую сеть дата-центров для облегчения доставки контента пользователям из различных регионов, Facebook хранит все данные в одном «кластере» объёмом более 100 Пб, что больше любого из кластера из дата-центров компаний, сравнимых по масштабам с Facebook. Это позволяет инженерам оперативно получать доступ к сети и контролировать её состояние.
VMA – умная флэш-память для базы данных
2012-08-01 в 7:44, admin, рубрики: flash, oracle, proliant, raid, sql, vma, Блог компании HP, данные, Железо, массив, сервер, Серверное администрирование, сисадмин, системное администрирование, флеш-память, хранение, метки: flash, oracle, proliant, raid, sql, vma, данные, железо, массив, сервер, сисадмин, системное администрирование, флеш-память, хранениеВ прошлом году мы уже подробно рассказывали о флагмане линейки HP ProLiant — 8-сокетном DL980, который впервые реализует функции бизнес-критичных систем для серверов стандартной архитектуры. Одна из основных сфер применения этого сервера – обслуживание больших баз данных Oracle Microsoft SQL Server. В нынешнем году на базе этого сервера было разработано новое решение, позволяющее резко поднять производительность баз данных за счет использования флэш-памяти.
Вышел «Левша» с твердотельными дисками
2012-07-06 в 7:27, admin, рубрики: iscsi, lefthand, админ, Блог компании HP, данные, Железо, кластеризация, масштабирование, Накопители, сервер, Серверная оптимизация, сисадмин, системное администрирование, хранение, метки: iscsi, lefthand, админ, данные, железо, кластеризация, масштабирование, накопители, сервер, сисадмин, системное администрирование, хранение Цены на твердотельные диски постоянно снижаются и если года два назад эти накопители использовались только как опция для систем хранения high-end, то сегодня на рынке можно найти и массивы разных производителей, целиком построенные на дисках SSD.
Читать полностью »
Строим карту популярности дней рождения с помощью Processing и VK API
2012-05-25 в 14:16, admin, рубрики: api, data, processing, visualization, vk.com, визуализация, Вконтакте API, данные, Дизайн в IT, Инфографика, метки: api, data, Processing, visualization, vk.com, визуализация, данныеВступление
Несколько дней назад в блоге The Daily Viz была опубликована запись, которая привлекла внимание широкой общественности как пример простой и эффективной визуализации данных.
Визуализация представляла собой карту популярности дней рождения, реализованную как теплокарта (heatmap) в виде календаря. По вертикали располагались числа, по горизонтали — месяцы, и, глядя в эту незамысловатую таблицу, мы могли по насыщенности оттенка судить о том, насколько популярен тот или иной день в году с точки зрения деторождения.
Через какое-то время автор визуализации опубликовал в том же блоге второй пост, извинившись за то, что ввел сообщество в заблуждение, не прокомментировав должным образом исходные данные, использованные в работе над изображением. Проблема была в том, что исходный сет данных не содержал информации о реальном числе родившихся в тот или иной день людей. Информация была дана в другом виде — на каком месте (rank) находится тот или иной день в «рейтинге» популярности дней рождения.
То есть, разница между первой и второй позицией в рейтинге могла быть колоссальной (скажем, в два раза), но отличались бы они все равно только на один тон. Иными словами, визуализация не отражала реальных данных из-за того, что сет содержал лишь производные данные.
Немного подумав над этой проблемой, я решил описать собственный пример создания такой визуализации от начала до конца — т. е. от сбора данных до, собственно, отрисовки изображения. Этот пример хорош тем, что он, с одной стороны, относительно прост, а с другой — является целостным завершенным проектом с определенным интересным результатом.Читать полностью »
Структурирование данных: что делать с интернетом?
2012-05-10 в 11:41, admin, рубрики: gtd, данные, ИИ, интернет, метки: данные, ИИ, интернетВсе чаще появляются топики, которые посвящены проблемам хранения, поиска и структурирования данных. И источники самих топиков растут из за неприятного факта, что порой тебе нет возможности что-то найти, пусть даже самое простое. И в итоге поисков люди находят развлекательные порталы и вещи, на которых и оседают. Например, последний топик Идеальный персональный менеджер информации — какой он?, в нем автор упоминает ситуацию про поиск какой-то определенной формулы. И что каким-то странным образом поиск формулы превращается в просмотр роликов.
Ситуация реальная. Ты чего-то ищешь, а далее твой глаз цепляется за что-то постороннее и привлекательное. А далее…
И каждый раз предлагается унифицировать и стандартизировать способ хранения данных.