Рубрика «BigData» - 2

в 10:15, , рубрики: BigData, cassandra, data warehouse, dwh, IoT, no sql, nosql, scylladb, sql, storage

Здравствуйте!

Меня зовут Александр Андреев, я старший инженер данных. В своей первой статье на "Хабре" я хочу рассказать об оптимизации производительности NoSQL базы данных ScyllaDB.

Введение в ScyllaDB

ScyllaDB — это высокопроизводительная распределённая NoSQL база данных, совместимая с Apache Cassandra на уровне протокола, но предлагающая значительно более высокую пропускную способность и меньшую задержку. В отличие от Cassandra, которая написана на Java, ScyllaDB реализована на C++ с использованием фреймворка SeastarЧитать полностью »

в 12:53, , рубрики: Apache Flink, BigData, data engineering, java

Допустим есть 2 таблицы в любой реляционной базе данных.
Таблица users весом 4TB

id

firstname

lastname

1

Egor

Myasnik

2

Pavel

Hvastun

3

Mitya

Volk

Таблица domains 2TB

id

user_id

domain_name

1

1

Approval

2

1

Rejection

3

1

 Читать полностью »

в 8:29, , рубрики: BigData, ии-ассистент, искусственный интеллект, медицина, хирургия
Искусственный интеллект в медицине

Искусственный интеллект в медицине

Для студентов медицинских учреждений и моей дочери, которая учится на 1 курсе медицинского университета.

Привет!

Читать полностью »

в 10:16, , рубрики: BigData, clickhouse, базы данных

Привет! Меня зовут Андрей Дорожкин, и я руковожу командой администрации баз данных в Hybrid. В этом материале я поделюсь опытом работы с ClickHouse — колоночной БД, разработанной специально для аналитических запросов, которая позволяет получать результаты в разы быстрее традиционных решений. Также я подсвечу, как устроен этот продукт, чем он отличается от реляционных баз данных, и в каких сценариях его использование может дать бизнесу реальное преимущество.

Читать полностью »

в 5:21, , рубрики: BI, BigData, gpt, искусственный интеллект

BI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных

Читать полностью »

в 12:36, , рубрики: BigData, GigaChat, llm, искусственный интеллект, машинное обучение
GigaChat 2.0 в API - 1

Салют! Время летит незаметно. Будто совсем недавно мы знакомили вас с GigaChat MAX, но мы не стоим на месте и сегодня готовы представить вам обещанный апгрейд. За полгода мы значительно улучшили обучающие данные, поработали над инфраструктурой обучения моделей, а также уделили особое внимание всему процессу Alignment-а, в том числе RLHF. 

Читать полностью »

в 5:16, , рубрики: AGI, bard, BigData, gemini ai, аналитика, интеллект, нейросети, промпт-инжиниринг
"Моя ракета где ты?" (c)

"Моя ракета где ты?" (c)

Предыстория

Если, ради уменьшения объема этой статьи и её чисто прикладного характера, не вдаваться в собственные разработки Читать полностью »

в 11:15, , рубрики: BigData, аналитика, веб-аналитика, интернет-маркетинг, маркетинг, мобильная аналитика, цифровая аналитика

Предположим, что перед вашей командой стоит задача по поиску надежного стриминга web и app данных, который бы соответствовал требованиям службы безопасности, ожиданиям отделов маркетинга и аналитики, а также был бы полезен для управляющей команды. Не менее важно удобство и прозрачность работы стриминга, а внесение изменений в ожидаемый результат, желательно, без привлечения дополнительного ресурса аналитиков и разработчиков. 

Этот материал будет полезен проектам, которые: 

  • Выстраивают глубинную сквозную аналитику; 

  • Рассматривают возможность интеграции аналитических решений;

  • Читать полностью »

в 12:59, , рубрики: BigData, feature store, ml, mlops, selecte, Купер, машинное обучение
Как в Купере масштабировали машинное обучение и что из этого получилось - 1

Не секрет, что ML‑модели требуют огромного количества данных. Информации не просто много, она организовывается в многообразные структуры, версионируется, употребляется разными моделями. Скорость обращения данных тоже критична, особенно для систем, взаимодействующих с пользователями в режиме реального времени.

При возросшей сложности не обойтись без специализированных инструментов, например Feature Store. Однако случается, что все решения на рынке не годятся по тем или иным причинам. Тогда приходится рассчитывать исключительно на свои силы.

Рассказываем, как в Купере внедрили Feast, хранилище признаков (Feature Store) с открытым исходным кодом. После прочтения вы познакомитесь с инструментом и сможете решить, подходит ли Feast для коммерческого использования. Подробности под катом!Читать полностью »

в 11:16, , рубрики: AI, BigData, data annotation, data validation, ml, project management, разметка данных
Контроль качества разметки на проекте: 4 секрета успеха - 1

Существует известное правило: “мусор на входе, мусор на выходе”. Все знают, что “чистые”, точные данные повышают качество и корректность работы ИИ-моделей, так что итоговая ценность оправдывает дополнительные усилия и вложения. Намного дешевле компаниям выходит предотвратить проблемы с данными, чем решать их после.

Читать полностью »

123...10...11
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js