Рубрика «big data» - 9
ClickHouse: путь джедая, искавшего дом для своих данных
2021-09-07 в 7:12, admin, рубрики: big data, clickhouse, data lake, Блог компании Туту.ру, хранение данных, хранилище данныхКаждый пятый абонент «Билайна» уехал из Москвы, каждый десятый — из Санкт-Петербурга
2021-08-20 в 6:21, admin, рубрики: big data, билайн, Вымпелком / VEON, интервью, Текучка, метки: big data, билайн, Вымпелком / VEON, интервью, ТекучкаДиректор по Digital-продуктам группы Veon Джордж Хелд ушёл в Veon из принадлежащего ей же «Вымпелкома» и рассказал о пандемийных изменениях в поведении абонентов и взглядах компании на этичное применение новых технологий. В Билайне заметили, что благодаря удалёнке люди активно уезжают из больших городов (в основном в область того же города):
Из Москвы в соседние регионы уехало 21,8% клиентов «Читать полностью »
UUID версии 7, или как не потеряться во времени при создании идентификатора
2021-08-12 в 23:30, admin, рубрики: Bender Bending Rodriguez, big data, GUID, uuid, UUIDv6, UUIDv7, UUIDv8, Администрирование баз данных, идентификатор, инженерные системы, Новый, Новый UUID, системное программирование, Уникальный идентификатор, хранение данных
Запросить 100 серверов нельзя оптимизировать код. Ставим запятую
2021-06-15 в 16:34, admin, рубрики: big data, BigData, data science, python, R, ruvds_статьи, Алгоритмы, Блог компании RUVDS.comМожно выделить ряд алгоритмов, которые являются базовыми и лежат в основе практически каждой строчки программ, написанных на языках высокого уровня. Хорошо иметь под руками классический многотомный труд Дональда Кнута "The Art of Computer Programming", там детально разобраны многие базовые алгоритмы. Но прочесть и усвоить все — задача, требующая много усилий и времени, которая должна как-то быть мотивирована.
Многие могут предположить, что нюансы необходимо было знать 50 лет назад, а сейчас можно пользоваться готовыми пакетами и функциями и не погружаться в детали. Однако, это далеко не так. Равно как никто не отменял важность понимания представления методов хранения данных в памяти и их обработки в процессоре.
Далее разберем нюансы на примере функций сортировки. Сортировка и поиск используются максимально часто во всех манипуляциях с данными. Экономия нескольких миллисекунд на операции может приводить к суммарному сокращению часов расчета на значительных данных.
Является продолжением серии предыдущих публикаций.
ТОП-10 трендов в сфере данных и аналитики 2021. Версия Gartner
2021-06-15 в 7:02, admin, рубрики: big data, CleverDATA, gartner, Блог компании ГК ЛАНИТ, искусственный интеллект, Ланит, машинное обучение, переводОракул технологического мира Gartner регулярно и охотно делится с обществом своими наблюдениями относительно текущих трендов. Эксперты компании составили подборку из 10 трендов в сфере данных и аналитики, которые стоит учитывать ИТ-лидерам в 2021 году – от искусственного интеллекта до малых данных и применения графовых технологий.
Материал Gartner является отличной пищей к размышлению, а в некоторых случаях он может сыграть важную роль при принятии стратегических решений. Для того, чтобы оставаться в курсе основных трендов и в то же время не тратить ресурсы на собственный анализ, уберечься от ошибок субъективного мнения, удобно пользоваться предоставленным отчетом, перевод которого и предлагается в этой статье.
Раскрашиваем таможенную статистику. Или сколько и каких микросхем ввозят в Россию?
2021-05-06 в 16:30, admin, рубрики: big data, Блог компании Миландр, Научно-популярное, программирование микроконтроллеров, Производство и разработка электроники, Статстика, таможня, электроникаКогда в 2008 году мы разрабатывали микроконтроллеры серии К1986ВЕ9хЧитать полностью »
Ещё один поиск Вк по фото
2021-03-20 в 12:02, admin, рубрики: AI, big data, devops, face recognition, mysql, python, искусственный интеллект, пет-проект, поисковые технологииЯ люблю ввязываться в авантюры, и за последний месяц об одной из них я пару раз рассказывал друзьям, что вызывало восторг, поэтому решил поделиться с хабравчанами! Эта история про отважные пет-проекты, мощь опен-сорса и саморазвитие, а также основные технические детали. Надеюсь, вас это вдохновит :)
1. Предыстория
Почему не стоит читать статьи о том, как за несколько месяцев стать специалистом по Data Science
2021-03-07 в 12:53, admin, рубрики: big data, Блог компании Selectel, Карьера в IT-индустрии, Лайфхаки для гиков, наука о данных, самообучение, статьи, Учебный процесс в IT
Когда я приступила к изучению Data Science (сейчас автор статьи CAN | Geoscience BSc undergrad student | Software Dev graduate), — прим. перев.), я читала практически каждую статью по этой теме, которая попадала в мои руки. В большинстве случаев это были вдохновляющие статьи других людей, которые смогли обучиться профессии дата-сайентиста самостоятельно.
В этих статьях было полным-полно информации о счастливчиках, которые, не имея IT-образования, преодолели все преграды и проблемы и стали дата-сайентистами в течение нескольких месяцев. Само собой, большинство авторов таких статей затем устраивались в крупные компании класса FAANG.
Читать полностью »
За что IT-компании платят экономистам и сколько стоит человеческая жизнь?
2021-02-27 в 13:10, admin, рубрики: big data, zalando, Блог компании RUVDS.com, Карьера в IT-индустрии, карьера экономиста, математика, экономикаНа этой неделе наших соцсетях выступал Евгений Канашевский, экономист из Zalando, Economics Phd университета Штата Пенсильвания.
На работе Женя занимается установлением причинно-следственных связей в онлайн-рекламе с помощью экспериментальных и квазиэкспериментальных методов и моделей машинного обучения.
Делимся с вами расшифровкой эфира.
Меня зовут Евгений Канашевский. Сегодня мы поговорим о том, за что IT-компании платят экономистам, о том, чем экономисты отличаются от обычных data scientist-ов, и ответим на интересные вопросы вроде «сколько стоит человеческая жизнь?», которыми занимаются экономисты.
Для начала я представлю себя. Я сейчас работаю экономистом/data scientist-ом в большой компании Zalando. Это онлайн-магазин, который продает одежду, обувь, косметику в 16 странах Европы и планирует расширение на новые рынки. До того, как я присоединился к Zalando в 2020 году, я делал PhD по экономике в университете штата Пенсильвания. Я начал интересоваться экономикой задолго до этого, когда учился в МФТИ и потом также в Российской экономической школе.
До того, как поехать на PhD по экономике, я работал 2 года в агентстве контекстной рекламы в Москве; очень сильно хотел узнать больше о том, что такое экономика и как она устроена. Чтобы утолить свою жажду, я поехал в итоге на PhD. Сейчас я надеюсь поделиться с вами этим знанием. Надеюсь, вам будет интересно, и мы поймем, зачем бизнесу экономисты.
Читать полностью »
Будни аналитиков в «М.Видео—Эльдорадо»
2021-02-04 в 7:14, admin, рубрики: big data, job, Анализ и проектирование систем, аналитика, Блог компании М.Видео-Эльдорадо, данные, Карьера в IT-индустрии, М.Видео, Читальный зал, Эльдорадо
Профессию аналитика многие связывают с анализом данных ради поиска неочевидных закономерностей и тенденций. Однако это лишь одно из направлений деятельности, которое в русском языке называется «обработка и анализ данных», а в английском — data science, наука о данных. Другое направление деятельности в аналитике посвящено разработке новых и оптимизации существующих бизнес-процессов. И таких специалистов даже больше, чем «дата-сатанистов».
Меня зовут Дмитрий Кольцов, я Delivery Manager в «М.Видео—Эльдорадо», и хочу рассказать о том, как бизнес и системные аналитики встроены в организационную структуру нашей компании и какие задачи они решают. Кстати, в конце статьи вас ждёт анонс нашего первого онлайн-конкурса для аналитиков.Читать полностью »