
Всем привет! Меня зовут Александр. Хочу рассказать, как мы прошли путь от Google таблиц до собственной BI-системы на PostgreSQL + DataLens с версионированием себестоимости, оптимизацией JOIN и автоматической выгрузкой данных из API WB и Ozon.

Всем привет! Меня зовут Александр. Хочу рассказать, как мы прошли путь от Google таблиц до собственной BI-системы на PostgreSQL + DataLens с версионированием себестоимости, оптимизацией JOIN и автоматической выгрузкой данных из API WB и Ozon.

Привет с Новолипецкого металлургического комбината! В крупном проекте самое ценное — данные. В нашем случае — технологические карты производства и параметры всех изделий и агрегатов: как и что мы делаем, на чём, как долго, и какие параметры каким образом влияют на результат.
Производство — живая система: возникают новые процессы, изменяются существующие, перестраиваются агрегаты, меняется код. Мы построили процесс так, что, когда что-то начинает производиться, все актуальные данные уже есть в системе. Код и данные не отстают, не опережают, а идут рука об руку.
У нас есть два гипермозга:
Обе системы используют огромный модуль маршрутизации технологических процессов. Там хранятся все возможные маршруты всей продукции, технология производства по агрегатам — в общем, путь со всеми переделами, который проделывает металл от входа в сталеплавильное производство до попадания в вагон, который поедет к заказчику. Для этого модуля нам пришлось собрать все данные о производстве, привести их к единому виду, установить общие протоколы обмена данными и договориться со всеми-всеми, что они будут вводить, хранить и использовать данные именно так, как в них указано.
Оцифровка завода из бумажного вида заняла год. Пришлось многое переформатировать, чтобы оно уложилось в понятную логику таблиц и данных. Это было основным и очень трудным челленджем, который вырос в непрерывный процесс и продолжается до сих пор. Читать полностью »

Фото: NASA
Что, если любое событие, которое происходит в стране, будет фиксироваться компьютерной системой? Причем все это в режиме реального времени, а данные будут доступны всем? На основе этой идеи правительство Австралии ведет научные изыскания, причем проект долгосрочный и рассчитан на 10 лет. В итоге правительство хочет получить цифровую копию страны.
Oznome — проект, названный по примеру Human Genome Project, который преследует цель стать «цифровым прошлым, настоящим и будущим всего» в стране к 2025 году. Начинают исследователи с оцифровки данных по окружающей среде.
Читать полностью »