Допустим, вас не устраивает ваше качество сна. Вы перестали делать очевидно вредные вещи (убрали кофе на ночь), и сон улучшился, но хотелось бы поработать над ним ещё. Коллега по работе даёт вам смесь трав со зверобоем и лавандой. Вы пробуете пить его на ночь вместо кофе, и вроде бы иногда сон действительно становится глубже, чем раньше. Но иногда нет. Вы готовы экспериментировать, но как бы проверить, действительно ли травы работают или это просто случайный разброс?
Рубрика «сбор данных»
У вас скорее всего не получится сделать статистически обоснованный подбор личных жизненных привычек и БАДов
2026-03-13 в 10:10, admin, рубрики: gtd, p-value, бад, привычки, сбор данных, статистика, экспериментСобрать данные с автосимулятора: как Assetto Corsa стала источником живых данных
2026-02-11 в 14:16, admin, рубрики: assetto corsa, opensearch, SOC FORUM, аналитика данных, визуализация данных, дашборды, метрики, поток данных, сбор данных, телеметрия229 заездов, 140 разных пилотов, 28 часов 4 минуты и 53 секунды непрерывной работы за три дня. Никто не пострадал. Почти. Зато мы получили отличный поток данных.
Как фанат Формулы-1, хочу поделиться демо-кейсом сбора гоночной телеметрии из симулятора Assetto Corsa, который мы использовали во время проведения SOC Forum 2025.
Зеленый свет
На форуме у нас был стенд с классическим набором: лекторий, мерч, разговоры про безопасность и аналитику. Но был и козырь в рукаве — гоночный симулятор с подвижной платформой.
Скрейпинг Temu в 2025: реальный кейс с антиботом, ротацией и прокси
2025-08-05 в 7:15, admin, рубрики: seo, автоматизация сбора данных, архитектура парсера, обход anti-bot системы, прокси для скрейпинга, сбор данныхРазбираем полный цикл построения надёжного скрейпера для Temu: от выбора стека и прокси до обхода JavaScript‑челленджей и сбора тысяч карточек товаров без единого 403.
Проблематика и требования
-
Антибот‑защита Temu
-
JS‑челленджи и динамические куки;
-
блокировка по повторяющимся заголовкам и шаблонному поведению;
-
гео‑таргетинг: часть контента недоступна вне целевых регионов.
-
-
Цели скрейпинга
-
сбор названий, цен, рейтингов и ссылок на товары;
-
устойчивость к бану при сотнях параллельных сессий;
-
Парсинг российских СМИ
2025-07-23 в 6:16, admin, рубрики: beautifulsoup, python, selenium, парсинг, сбор данных
Как обойти ограничения TradingView и забирать данные с графика без использования платных функций (через Pine Script)
2025-07-15 в 16:12, admin, рубрики: C, pine script, tradingview, алгоритмическая торговля, алготрейдинг, сбор данных, трейдингПриветствую! Я Никита, разработчик торговых стратегий и инструментов в международном криптовалютном фонде Wild Boar. Здесь пишу об алгоритмической торговле, делюсь опытом и помогаю внимательным читателям завладеть... всем)
Потому что кто владеет информацией, тот владеет миром. А кто умеет её (информацию) собирать, анализировать, да еще и использовать – тот владеет всем: деньгами, возможностями, конкурентными преимуществами и конкурентами в целом.
«Потеряли на колёсах десятки миллионов, айтишники, помогайте»
2025-06-19 в 7:00, admin, рубрики: автоматизация, вибродиагностика, завод, ит, сбор данных, цехНас позвали в цех решить задачу. Приходим — там тишина, люди ходят мрачные. Оказалось, недавно пришлось экстренно вернуть обратно в ремонт более 1000 колёсных пар, потому что не нашлось их диагностических протоколов. Это очень дорого. И больно.
Причину быстро нашли. Там был ненадёжный элемент, отвечающий за взаимодействие между буксами и вибростендом.
Человек. Реальный человеческий фактор в системе диагностики.
В вагоне колёса жёстко сидят на одной оси, и у каждой есть букса — подшипниковый узел, который позволяет колёсной паре вращаться.
Букса проверяется вибродиагностикой. На вибростенде её раскручивают до 300 оборотов в минуту и датчики слушают, нет ли странных звуков. По результатам формируется протокол, где указано, пригодна ли букса. По регламенту в конце рабочего дня оператор должен распечатать протоколы за смену и подшить их в архивную папку. Для этого нужно подойти к стенду, авторизоваться, выбрать период, сформировать сводный файл отчёта (или единичный отчёт) и нажать кнопку «Печать». Все протоколы хранятся в бумажном виде — в тех самых архивных папках, а ещё в закрытой базе данных стенда.
Если потеряется папка с бумажками или база данных стенда внезапно решит уйти в отпуск, при проверке будет много вопросов. Очень много вопросов.
А если в грузовом составе с такой колёсной парой под вагоном что-то пойдёт не так, это уже не просто накладка, а огромная проблема, которую разбирать будут очень серьёзные люди.
После инцидента с теми самыми 1000 колёсными парами отдел качества обнаружил, что на заводе есть айтишники. И мы даже умеем правильно хранить документы. Собственно, из-за этой суперспособности нас и позвали. Читать полностью »
Конфиденциальность мертва: Яндекс и ВК обучают ИИ на ваших личных данных?
2025-04-11 в 17:53, admin, рубрики: Yandex GPT, алиса, безопасность данных, Вконтакте, ИИ, конфиденциальность, персональные данные, сбор данных, Сталкинг, яндекс
Недавно Яндекс «подарил» мне месячную подписьЧитать полностью »
Windows 11 — по-прежнему ничего стоящего
2025-02-14 в 13:01, admin, рубрики: microsoft, ruvds_перевод, Windows 10, windows 11, баги, операционные системы, сбор данных
С вами Dedoimedo, и я хочу поделиться историей об очередном эпизоде мазохизма. Раз в несколько месяцев я запускаю свой тестовый ноутбук, на котором в качестве альтернативной системы стоит Windows 11, и проверяю, произошли ли в этой ОС какие-нибудь ощутимые изменения. Последняя такая авантюра была в сентябре, и тогда я столкнулся с кучей проблем.
Но не всё так страшно. Недавно я прочёл на The Register статью, в которой показано, что аудитория Windows 11 не просто не растёт, а сокращается. Как же прекрасно. Просто песня. Люблю читать бахвальные маркетинговые заявления высокопоставленных представителей компаний, особенно на фоне суровой проверки реальностью. Но в этом есть смысл.
Windows 11 бесполезна — файловый менеджер тормозной, раздел настройки не дотягивает до панели управления, а аппаратные требования зачастую препятствуют возможности апгрейда. Что тут сказать… Карма и всё такое…
Приступим?Читать полностью »
Почему оценить стоимость датасета не так просто, как кажется на первый взгляд
2024-11-01 в 19:48, admin, рубрики: computer vision, команда разработки, машинное зрение, нейросети для бизнеса, оценка проектов разметки, оценка проектов сбора данных, оценка трудозатрат, ошибки управления, разметка данных, сбор данных
Представьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок из сета, проводите тесты и получаете примерную стоимость 1 изображения. В итоге вы оцениваете проект, основываясь на количестве изображенийЧитать полностью »
Bukva: алфавит русского жестового языка
2024-10-16 в 8:58, admin, рубрики: дактиль, краудсорсинг, нейронные сети, ржя, русский жестовый язык, сбор данныхВсем привет!
Совсем недавно мы анонсировали словарь русского жестового языка (РЖЯ), а в этой статье поговорим про задачу распознавания алфавита РЖЯ, именуемого также дактильным алфавитом или дактилем. Предлагаем ознакомиться с нашей работой, в которой мы представим новый датасет Bukva — первый полноценный видеонабор данных для распознавания дактильной азбуки. Он содержит 3757 видеороликов с более чем 101Читать полностью »