В конце мая я затрагивал на Хабре тему полной автоматизации производств – концепцию, именуемую в англоязычных источниках «lights-off manufacturing». Подробно ознакомившись с критикой, за которую особенно поблагодарю уважаемых @dizatorr и @cepera_ang хочу подробнее вернуться к ней в контексте 3D-печати и лемовского роя микромашин из «НепобедимогоЧитать полностью »
Рубрика «big data» - 4
Безвоздушные замки. О перспективах ЦОД на орбите и в ближнем космосе
2022-06-19 в 9:03, admin, рубрики: big data, Google, microsoft, будущее здесь, Интернет вещей, космонавтика, Научно-популярное, хранилища данных, цод
Как мы заняли 1-е место в задаче Matching в соревновании Data Fusion Contest 2022, или как нейронка обогнала бустинг
2022-06-09 в 16:01, admin, рубрики: big data, data mining, machine learning, neural networks, Блог компании Open Data Science, машинное обучениеНа платформе ODS.ai прошло соревнование по машинному обучению Data Fusion Contest 2022 от банка ВТБ.
Мы, команда Лаборатории ИИ Сбера и Института искусственного интеллекта AIRI, приняли решение поучаствовать в контесте, когда увидели, что тема соревнования сильно пересекалась с нашими исследованиями. Мы заняли первое место на private leaderboard в основной задаче Matching. Здесь я хотел бы описать решение, которое у нас получилось.
Логичные дашборды для департамента логистики
2022-06-07 в 8:35, admin, рубрики: big data, Excel, Блог компании Цифровой СИБУР, визуализация, визуализация данных, вывод данных, дашборды, интерфейсы, Статистика в ITПривет! Как и обещали в предыдущем посте, продолжаем рассказывать про то, как внедряем удобные дашборды для разных департаментов СИБУРа. На очереди — логистика.
За что отвечает логистика? Это не очень очевидно, но логистика — это неотъемлемая часть клиентского сервиса. И хороший дашборд для логистики — это рабочий инструмент для принятия эффективных решений по сокращению затрат и по обеспечению клиентского сервиса. Меня зовут Максим Коровин, я отвечаю за дашборды в логистике, и в этом посте расскажу, как всё устроено.
Читать полностью »
Apache NiFi: как решить ошибки, которые не гуглятся
2022-06-07 в 7:11, admin, рубрики: Apache, big data, data, data engineering, NiFi, NiFi Deployment, Блог компании Группа НЛМК, хранение данныхНастройка и запуск Apache NiFi и Zookeeper, настройка авторизации по LDAP и работа NiFi по HTTPS, настройка и запуск Apache NiFi Registry, пример запуска NiFi c Kerberos — вот темы, которые будут в этой статье.
Не вижу смысла полностью рассказывать, как настраивать NiFi и NiFi Registry — есть официальная документация и мануалы в сети. Я сосредоточился на ошибках, информации по которым нет, в том числе и на английском. При самостоятельном поиске решения, это реально масса времени. Я провел месяцы в режиме DEBUG и TRACE, чтобы понять, как всё сделать правильно. Готов поделится.
Читать полностью »
Visiology 3.0: реальная замена Microsoft Power BI или наш дерзкий маркетинговый ход?
2022-06-06 в 8:49, admin, рубрики: big data, Business Intelligence, dax, in-memory, microsoft, PowerBI, visiology, Блог компании Visiology, визуализация данных, высокая производительностьВ середине мая для самых заинтересованных мы приоткрыли завесу тайны и провели первый закрытый предпоказ нашей новой Visiology 3.0. Сегодня пришло время открыто сообщить о том, что мы находимся на финальной стадии разработки BI-платформы нового поколения, которая не только “сильнее, быстрее и выше” предыдущей версии, но также, я уверен, сможет стать реальной заменой для Power BI. Все подробности о том, “как и почему” — под катом.
Работа в Data Science: что важно знать и как этому научиться
2022-05-29 в 18:30, admin, рубрики: artificial intelligence, big data, career, data science, machine learning, self-education, искусственный интеллект, Карьера в IT-индустрии, машинное обучениеО чем это все?
Сегодня словосочетания вроде Data Science, Machine Learning, Artificial Intelligence очень популярны. При этом нередко под ними понимаются довольно разные вещи. Это зачастую смущает и запутывает людей, желающих войти в специальность: трудно разобраться, с чего начать, что действительно нужно, а что необязательно для начала. Не претендуя на общность, расскажем, как это видится на основе десятка лет опыта c решением такого рода задач для крупных клиентов со всего мира (сервис / заказная разработка / аутсорс – подставьте термин по вкусу).
Любопытные и неочевидные особенности при работе со Snowflake
2022-05-01 в 14:14, admin, рубрики: big data, data engineering, database, schema, snowddl, Snowflake, snowflakedb, sql, Администрирование баз данных
Без долгих вступлений, сразу к делу.
Знаете ли вы, что в Snowflake можно создавать объекты с пустыми именами? Например:
CREATE DATABASE "";
CREATE SCHEMA ""."";
CREATE TABLE ""."".""("" NUMBER);Монетизация данных. Зачем Большой Брат следит за нами?
2022-04-07 в 11:02, admin, рубрики: big data, Алгоритмы, Блог компании Группа Т1, данные, защита информации, искусственный интеллект, кейс, монетизация, Программное обеспечение, стратегическое планирование, управление проектами
2021-й год стал первым годом, когда крупные компании начали понимать на практике, зачем же они следят за пользователями. До этого бигдата была инструментом поиска вещей, которые можно было сделать и статичными правилами, а вот сейчас наконец-то стала полезной принципиально иначе.
Теперь можно получать обработку информации в реальном времени (и реагировать гибко и сразу на те же действия на сайте или в приложении), в агрегации данных (теперь банк знает, где вы живёте, какие у вас были диагнозы по чекам из аптеки и какие интернет-магазины вы предпочитаете по адресам посещаемых сайтов, от стратегического альянса с провайдером или сотовым оператором) и так далее.
Читать полностью »
Встречайте UUID нового поколения для ключей высоконагруженных систем
2022-04-03 в 17:22, admin, рубрики: big data, IT-стандарты, uuid, UUIDv7, высокая производительность, ключ, распределенные системы, хранилища данных
31 марта 2022 года на сайте IETF был официально размещен текст рабочего документа (копия 1Читать полностью »