На сегодняшний день технологии Big Data нашли свое применение практически в любых отраслях: ритейл, банкинг, здравоохранение, и, в свою очередь, сфера производства не стала исключением. Оптимизация производственной цепочки, выявление дефектов и контроль качества продукции, улучшение удобства использования продукта на основе поведения потребителей – неполный список результатов, которых можно достичь в производственной сфере благодаря Big Data. Рассмотрим несколько кейсов зарубежных и отечественных компаний, внедривших технологии больших данных в свою деятельность.
Читать полностью »
Рубрика «teradata»
7 кейсов использования технологий Big Data в сфере производства
2017-04-03 в 12:39, admin, рубрики: apple, big data, data mining, general electric, intel, sap naha, sas, teradata, Yandex Data Factory, Блог компании New Professions Lab, газпром нефть, машинное обучение, ммк, сургутнефтьгазBig Data головного мозга
2016-06-22 в 6:07, admin, рубрики: big data, data, greenplum, hawq, teradata, VerticaНаверно, в мире данных нет подобного феномена настолько неоднозначного понимания того, что же такое Hadoop. Ни один подобный продукт не окутан таким большим количеством мифов, легенд, а главное непонимания со стороны пользователей. Не менее загадочным и противоречивым является термин "Big Data", который иногда хочется писать желтым шрифтом(спасибо маркетологам), а произносить с особым пафосом. Об этих двух понятиях — Hadoop и Big Data я бы хотел поделиться с сообществом, а возможно и развести небольшой холивар.
Возможно статья кого-то обидит, кого-то улыбнет, но я надеюсь, что не оставит никого равнодушным.
Демонстрация Hadoop пользователям
Oracle vs Teradata vs Hadoop
2014-09-03 в 8:33, admin, рубрики: big data, dwh, Hadoop, oracle, teradata, хранение данных, метки: dwh, Hadoop, oracle, teradataЭта статья нацелена на Большие и Очень большие Хранилища Данных, но для ровной картины в классификации немного упомянуты и маленькие.
Статья написана для специалистов, которые ценят главный критерий работы с базами данными — скорость. Речь пойдет о системах, нацеленных на грубый full scan (ораклисты уже напряглись, а терадатовцы радуются).
Давайте рассмотрим, под какой объем данных и работ лучше всего подходит Oracle или Hadoop/NoSQL.
Читать полностью »
Дополнительные техники физического моделирования в Teradata
2014-01-17 в 6:42, admin, рубрики: sql, teradata, Администрирование баз данных, Блог компании Teradata, СУБД, физическое моделирование, метки: teradata, СУБД, физическое моделированиеПродолжая публикацию материалов о техниках физического моделирования в СУБД Teradata мы, как и обещали в прошлой статье, хотим рассказать о дополнительных техниках, не относящихся напрямую к обычным индексам (хоть в этой статье мы и коснемся особых видов индексов, о которых следует знать).
Помимо обычных индексов в СУБД Teradata присутствует ряд специфичных и иногда тонких техник, которые могут применяться в физическом моделировании. Приведем описание большинства из техник, а если возникнут вопросы или желание узнать подробней, будем рады ответить в комментариях.
Читать полностью »
Распределение строк и доступ в СУБД Teradata (Primary Index)
2014-01-16 в 8:24, admin, рубрики: big data, sql, teradata, метки: teradataПредыдущий пост: Что такое Teradata?
Как Teradata распределяет строки?
- Teradata использует алгоритм хэширования для рандомного распределения строк таблицы между AMP-ами (преимущества: распределение одинаково, независимо от объема данных, и зависит от содержания строки, а не демографии данных)
- Primary Index определяет, будут ли строки таблицы распределены равномерно или неравномерно между AMP-ами
- Равномерное распределение строк таблицы ведет к равномерному распределению нагрузки
- Каждый AMP отвечает только за свое подмножество строк каждой таблицы
- Строки размещаются неупорядоченно (преимущества: не требуется поддержка сохранения порядка, порядок не зависит от любого представленного запроса)
Primary Key (PK) vs. Primary Index (PI)
Primary Key (первичный ключ) – это условность реляционной модели, которая однозначно определяет каждую строку.
Primary Index – это условность Teradata, которая определяет распределение строк и доступ.
Хорошо спроектированная база данных содержит таблицы, в которых PI такой же как и PK, а также таблицы, в которых PI определен в столбцах, отличных от PK, и может влиять на пути доступа.
Читать полностью »
Что такое Teradata?
2014-01-14 в 16:11, admin, рубрики: big data, teradata, СУБД, метки: big data, teradata, СУБДПредисловие: По работе мне пришлось изучать устройство базы данных Teradata, и оказалось, что в интернете почти нет информации, особенно на русском языке. Поэтому я решила собрать в кучу всю доступную информацию.
Стремительное увеличение объемов носителей информации и удешевление стоимости хранения данных привело к появлению методов, способных обеспечить более быстрый доступ к необходимым данным – индексы, хранение данных в отсортированном виде и т.п. Эти методы вполне успешно справляются со своей задачей, однако возрастающая конкуренция в мире заставляет искать новые, более быстрые, способы доступа к информации. «Кто владеет информацией, тот владеет миром». Основной интерес вызывают базы данных с традиционной реляционной моделью данных, отвечающие требованиям ACID (Atomicity, Consistency, Isolation, Durability — атомарность, согласованность, изолированность, надежность) и предназначенные для аналитики Больших Данных (Big Data).
Teradata – это параллельная реляционная СУБД, которая работает на операционных системах:
- MP-RAS UNIX
- Microsoft Windows 2000/2003 Server
- SuSE Linux
Разнообразие поддерживаемых ОС — одна из причин, почему Teradata имеет открытую архитектуру.
Читать полностью »
Teradata CTO Road Show — 28 мая, Москва
2013-05-16 в 7:31, admin, рубрики: teradata, Блог компании Teradata, конференция, семинар, метки: teradata, конференция, семинарУважаемые читатели, приглашаем принять участие в техническом семинаре Teradata CTO Road Show, который состоится в Москве 28 мая 2013 г. Семинар организуется в рамках европейского Road Show компании Teradata, посвященного основным технологическим трендам в области хранилищ данных, аналитики больших данных и BI.
Ключевой спикер семинара Стивен Бробст, CTO корпорации Teradata, детально расскажет о технологических инновациях, благодаря которым Teradata занимает лидирующие позиции на рынке, докажет важность использования семантического моделирования для успешного построения интегрированного хранилища данных путем сокращения избыточности данных, улучшения качества данных и снижения TCO.
Другие спикеры: Hermann Woestefeld (Герман Вестефильд), Director Architecture Consulting Teradata International и Михаил Ганюшкин, Ведущий архитектор Teradata Россия.
В ходе семинара будут освещены следующие темы:
- Аналитика графов как важнейшая составляющая аналитики больших данных
- Новые функциональные возможности Teradata 14.10
- Когда и при каких обстоятельствах целесообразно использовать индексы базы данных
Поколоночное и гибридное хранение записей в СУБД Teradata
2013-02-22 в 7:22, admin, рубрики: sql, teradata, Администрирование баз данных, Блог компании Teradata, метки: teradata До недавнего времени все СУБД, работающие со структурированными данными (и не только их), можно было разделить на 2 категории: хранящие записи в построчном формате и хранящие записи в поколоночном формате. Это фундаментальное отличие, влияющее на то, как строки таблиц выглядят на уровне внутренних механизмов хранения СУБД. Долгое время СУБД Teradata относилась к первой группе, но с выходом 14-й версии представилась возможность определять, как хранить данные конкретной таблицы – в виде колонок или строк. Таким образом, появилось гибридное хранение. В этой статье мы хотим рассказать о том, зачем это нужно, как это реализовано и какие преимущества дает.
Читать полностью »
Информационные ресурсы по теме Teradata
2013-02-08 в 7:08, admin, рубрики: teradata, Блог компании Teradata, метки: teradataОбщаясь с пользователями наших систем, мы время от времени получаем вопросы о том, какие информационные ресурсы существуют касательно Teradata и ее продуктов. Чтобы ответить на эти вопросы и здесь мы решили собрать список ресурсов, которые прямым образом относятся к Teradata, и где можно найти всё от дистрибутивов до документации и форумов.
- Официальная документация по Teradata: www.info.teradata.com, в том числе документация по самой СУБД
- Сообщество разработчиков Teradata: developer.teradata.com. Здесь можно найти много статей и Q&A
- Официальный форум Teradata: forums.teradata.com/forum
- Дистрибутивы: downloads.teradata.com/download Можно скачать утилиты, а так же Express версию СУБД Teradata (в виде VMware или EC2). Так же для скачивания доступна виртуальная машина Teradata Aster — это BigData решение от Teradata
- Не официальный, но активный форум по Teradata: www.teradataforum.com — работает в виде конференции.
- Блог Европейского (EMEA) региона Teradata: blogs.teradata.com/emea
- Электронная версия журнала Teradata Magazine: www.teradatamagazine.com
- Ну и просто официальный сайт Teradata: www.teradata.com
Статистика в СУБД Teradata
2013-02-01 в 6:39, admin, рубрики: sql, teradata, Администрирование баз данных, базы данных, Блог компании Teradata, статистика, СУБД, метки: teradata, базы данных, статистика, СУБД«There are three kinds of lies: lies, damned lies, and statistics» © Бенджамин Дизраэли, 40-й премьер-министр Великобритании
Статистическая информация о данных в СУБД играет важную роль в производительности системы. С учетом ряда комментариев к прошлой статье, мы решили описать, зачем нужна статистика в СУБД Teradata, как она учитывается оптимизатором, на что влияет, и дать ряд практических советов по сбору статистики для тех, кто работает с нашей СУБД.Читать полностью »