В июне 2025 года астрономы всего мира получили доступ к огромному массиву данных от телескопа Джеймс Уэбб (JWST). Проект COSMOS-Web, поддерживаемый NASA, выложил в открытый доступ 1,5 терабайта информации со снимками, фотометрическими каталогами и интерактивными инструментами для изучения глубокого космоса. Open-source-модель исследований, которая лежит в основе проекта, обещает «сделать звезды ближе» для всех нас. Разберемся, что это за данные, почему они важны и как меняют подход к науке.
Рубрика «BigData» - 2
Вселенная на ладони: крупнейший релиз данных JWST открывает космос для всех
2025-06-18 в 13:15, admin, рубрики: BigData, COSMOS-Web, астрономия, Вселенная, космос, Научно-популярноеКак мы храним 20000+ метрик и миллиарды комбинаций разрезов в одной таблице
2025-05-29 в 9:12, admin, рубрики: BigData, clickhouse, data analysis, data engineering, data structures, M42, python, storageПривет! Меня зовут Влад Божьев, я старший разработчик юнита АБ-тестирования Авито. В нашей команде мы ежедневно работаем с по-настоящему большими объёмами данных – это не просто фигура речи, это наша реальность. Мы помогаем создавать метрики, которые помогают бизнесу не «гадать на кофейной гуще», а принимать взвешенные решения, основанные на данных.
RAG‑агент для автоматизации инцидент‑менеджмента
2025-05-24 в 12:02, admin, рубрики: AI, automation, BigData, machine learning, nlp, rag, инцидент-менеджментАвтор статьи: Александр Летуновский
Проблематика
Современные крупные организации сталкиваются с большим числом ИТ‑инцидентов — счет может идти на тысячи в месяц. Инциденты нередко повторяются со временем, однако найти похожий случай в базе знаний или в системе регистрации инцидентов непросто: стандартный поиск по ключевым словам часто неэффективен, а «держать в голове» детали всех инцидентов невозможно.
Максимизация производительности ScyllaDB
2025-05-19 в 10:15, admin, рубрики: BigData, cassandra, data warehouse, dwh, IoT, no sql, nosql, scylladb, sql, storageЗдравствуйте!
Меня зовут Александр Андреев, я старший инженер данных. В своей первой статье на "Хабре" я хочу рассказать об оптимизации производительности NoSQL базы данных ScyllaDB.
Введение в ScyllaDB
ScyllaDB — это высокопроизводительная распределённая NoSQL база данных, совместимая с Apache Cassandra на уровне протокола, но предлагающая значительно более высокую пропускную способность и меньшую задержку. В отличие от Cassandra, которая написана на Java, ScyllaDB реализована на C++ с использованием фреймворка SeastarЧитать полностью »
Join таблиц в реальном времени на Apache Flink
2025-05-07 в 12:53, admin, рубрики: Apache Flink, BigData, data engineering, javaДопустим есть 2 таблицы в любой реляционной базе данных.
Таблица users весом 4TB
|
id |
firstname |
lastname |
|
1 |
Egor |
Myasnik |
|
2 |
Pavel |
Hvastun |
|
3 |
Mitya |
Volk |
Таблица domains 2TB
|
id |
user_id |
domain_name |
|
1 |
1 |
Approval |
|
2 |
1 |
Rejection |
|
3 |
1 |
Читать полностью » |
Искусственный интеллект в медицине: Революция в здравоохранении
2025-05-02 в 8:29, admin, рубрики: BigData, ии-ассистент, искусственный интеллект, медицина, хирургия
Для студентов медицинских учреждений и моей дочери, которая учится на 1 курсе медицинского университета.
Привет!
Погружение в ClickHouse: делаем первые и успешные шаги
2025-04-15 в 10:16, admin, рубрики: BigData, clickhouse, базы данныхПривет! Меня зовут Андрей Дорожкин, и я руковожу командой администрации баз данных в Hybrid. В этом материале я поделюсь опытом работы с ClickHouse — колоночной БД, разработанной специально для аналитических запросов, которая позволяет получать результаты в разы быстрее традиционных решений. Также я подсвечу, как устроен этот продукт, чем он отличается от реляционных баз данных, и в каких сценариях его использование может дать бизнесу реальное преимущество.
BI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных
2025-03-17 в 5:21, admin, рубрики: BI, BigData, gpt, искусственный интеллектBI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных
GigaChat 2.0 в API
2025-03-13 в 12:36, admin, рубрики: BigData, GigaChat, llm, искусственный интеллект, машинное обучение
Салют! Время летит незаметно. Будто совсем недавно мы знакомили вас с GigaChat MAX, но мы не стоим на месте и сегодня готовы представить вам обещанный апгрейд. За полгода мы значительно улучшили обучающие данные, поработали над инфраструктурой обучения моделей, а также уделили особое внимание всему процессу Alignment-а, в том числе RLHF.
На что способен Bard или случайные совпадения
2025-01-19 в 5:16, admin, рубрики: AGI, bard, BigData, gemini ai, аналитика, интеллект, нейросети, промпт-инжиниринг
Предыстория
Если, ради уменьшения объема этой статьи и её чисто прикладного характера, не вдаваться в собственные разработки Читать полностью »