Рубрика «Анализ и проектирование систем»

Боремся с ошибками и «костылями» в ЕГРЮЛ — госреестре юридических лиц - 1

На прошлой неделе мы выпустили статью про устройство ЕГРЮЛ — госреестра с данными 10 миллионов компаний. Тот материал рассказывает о базовых вещах, поэтому начать лучше с него.

Здесь же мы раскроем богатую и благодатную тему — проблемы ЕГРЮЛа, которые не дают нашим разработчикам заскучать.
Читать полностью »

Конференция для разработчиков высоконагруженных сервисов расширяет географию — мы едем в Новосибирск! Вперед, за новыми знаниями, опытом, идеями, знакомствами и впечатлениями. И знаете, глядя на программу очень похоже, что это станет доброй традицией — летом посещать Сибирь, под катом обзор докладов.

Что нас ждет на Highload++ Siberia, кроме рисованных мишек - 1

Highload++ Siberia хоть и форк уже ставшего традиционным Highload++, но, как и в случае некоторых известных технологий, пойдет своим путем и будет развивать свои собственные традиции. Начнем с достаточно камерного мероприятия — всего два потока, но все доклады отменного качества. Судите сами.
Читать полностью »

Начиная с 2018 года российский Центробанк (как регулятор) обязал некредитные финансовые организации (НФО), т.е. все предприятия финансового сектора экономики, кроме банков, а именно страховые, пенсионные фонды, проф. участники рынка ценных бумаг, управляющие компании, отчитываться перед ним в новом формате – согласно спецификации XBRL (а не excel или xml).

В объем надзорной (статистической) отчетности входит информация об учредителях и клиентах, объектах страхования, премиях и выплатах, депозитах и инвестициях, о контрагентах и т.д. и т.п. — реально сотни тысяч фактов. В связи с этим, для облегчения бюрократизма и соблюдения точности процедуры, расскажем о проекте автоматизации формирования отчетности в XBRL одной крупной НФО, в основу которого легло решение Fujitsu XBRL.

Укрощение XBRL: заметки аналитика - 1Читать полностью »

Отказоустойчивый сервер печати на базе Windows - 1
Настоящий админ может спать спокойно лишь тогда, когда у него всё бэкапится, мониторится и дублируется. Или когда он работает в хорошей команде, где всегда можно свалить вину на другого.
Так получилось, что я в своей работе использую в основном продукты Microsoft и могу сказать, что компания серьезно подходит к резервированию своих сервисов: Active Directory, Exchange DAG, SQL Always On, DFSR и т.д. Как и везде, здесь есть как весьма изящные и удачные реализации, так и явно неудобные и тяжелые. Для сервиса печати тоже есть решение, но для него необходима кластеризация на базе Hyper-V. А хотелось простого решения “из коробки”, не требующего дополнительных финансов. За основу была взята Windows 2012 R2, но скорее всего та же схема без проблем будет работать на любых серверных версиях, начиная с Windows 2008, и даже клиентских ОС от Vista и выше (привет любителям экономить бюджет!). Кому интересно — прошу под кат.
Читать полностью »

Рассказывать, какие есть кэши, что такое Result Cache, как он сделан в Oracle и в других базах данных не очень интересно и довольно шаблонно. Но все приобретает совершенно другие краски, когда речь идет о конкретных примерах. Александр Токарев (shtock) построил свой доклад на Highload++ 2017 исходя из кейсов. И именно опираясь на кейсы, рассказал, когда может быть удобен самодельный кэш, в чем боль server-side Result Cache и как заменить его клиентским, и вообще вывел ряд полезных советов по настройке Result Cache в Oracle.

О спикере: Александр Токарев работает в компании DataArt и занимается вопросами, связанными с базами данных как в части построения систем «с нуля», так и оптимизации имеющихся.

Начнем с нескольких риторических вопросов. Вы работали с Oracle Result Cache? Вы верите, что Oracle — это база данных, удобная на все случаи? По опыту Александра большинство людей на последний вопрос отвечает отрицательно, на сто суровых прагматиков приходится один мечтатель. Но благодаря его вере двигается прогресс.

Кстати, у Oracle уже 14 баз данных — пока 14 — что будет в будущем, неизвестно.

Как уже говорилось, все проблемы и решения будут проиллюстрированы конкретным кейсами. Это будет два кейса из проектов DataArt, и один сторонний пример.
Читать полностью »

Предыдущие выпуски:1-3, 4-5, 6-7.

— Сергей, приветствую, рад видеть! Проходи, присаживайся. — Курчатов встал с места, протянул Сергею руку через большой стол, искренне улыбнулся. По крайней мере, Сергею показалось, что улыбка была искренней. Если и не была, то симулировал Курчатов очень хорошо — явно чувствовался богатый опыт общения с людьми. У такого человека многому хотелось научиться.

— Сергей, это не формальная встреча, не для отчета о проделанной работе. — вступил сидевший во главе стола Воронин. — Евгений Викторович часто встречается с сотрудниками, особенно с новыми, чтобы быть в курсе событий, настроений, проблем и успехов.

— Да, Сергей, ты у нас человек относительно новый, — подхватил Курчатов. — и мне очень интересно, какое впечатление о нашей компании у тебя сложилось за время работы. Не хочу тебя ограничивать конкретными темами, говори все, что посчитаешь нужным.Читать полностью »

Как устроен ЕГРЮЛ — единый госреестр юридических лиц - 1

ЕГРЮЛ — это государственный реестр юридических лиц, в котором хранятся данные 10 миллионов российских компаний. Управляет справочником ФНС.

Из ЕГРЮЛ мы берем данные организаций для «Подсказок», «Единого клиента» и «Фактора». В статье расскажем, как мы жили до справочника, как получаем к нему доступ и как с ним работаем.
Читать полностью »

Потоковая репликация, которая появилась в 2010 году, стала одной из прорывных фич PostgreSQL и в настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, легка в настройке, нетребовательна к ресурсам. Однако при всех своих положительных качествах, при её эксплуатации могут возникать различные проблемы и неприятные ситуации.

Алексей Лесовский (@lesovsky) на Highload++ 2017 рассказал, как с помощью встроенных и сторонних инструментов, диагностировать различные типы проблем и как устранять их. Под катом расшифровка этого доклада, построенного по спиральному принципу: сначала мы перечислим все возможные средства диагностики, потом перейдем к перечислению типовых проблем и их диагностике, далее посмотрим, какие экстренные меры можно принять, и наконец как радикально справиться с задачей.

О спикере: Алексей Лесовский администратор баз данных в компании Data Egret. Одной из любимых тем Алексея в PostgreSQL является потоковая репликация и работа со статистикой, поэтому доклад на Highload++ 2017 был посвящен тому, как помощью статистики искать проблемы, и какие использовать методы для их устранения.

План

  1. Немного теории, или как работает репликация в PostgreSQL
  2. Troubleshooting tools или что есть у PostgreSQL и сообщества
  3. Troubleshooting cases:
    • проблемы: их симптомы и диагностика
    • решения
    • меры, которые нужно принимать, чтобы этих проблем не возникало.

Зачем всё это? Эта статья поможет вам лучше разбираться в потоковой репликации, научиться быстро находить и устранять проблемы, чтобы сократить время реакции на неприятные инциденты.
Читать полностью »

Прямой репортаж с рождения крупного игрока в аппаратном AI, который ускоряет TensorFlow и конкурирует с NVidia - 1

Завтра будут официальные пресс-релизы о слиянии старожила Silicon Valley, компании MIPS, с молодой AI компанией Wave Technology. Информация об этом событии просочилась в СМИ вчера, и вскоре CNet, Forbes, EE Times и куча хайтек-сайтов вышла со статьями об этом событии. Поэтому сегодня Derek Meyer, президент объединенной компании (на фото снизу справа), сказал «ладно, распостраняйте инфо среди друзей» и я решил написать пару слов о технологиях и людях, связанных с этим событием.

Главный инвестор в MIPS и Wave — миллиардер Dado Banatao (на фото снизу в центре слева), который еще в 1980-х основал компанию Chips & Technoilogies, которая делала чипсеты для ранних персоналок. В Wave+MIPS есть и другие знаменитости, например Стивен Джонсон (на фото справа вверху), автор самого популярного C-компилятора начала 1980-х годов. MIPS хорошо известен и в России. В руках дизайнерши Смрити (на фото слева) плата из Зеленограда, где находятся лицензиаты MIPS Элвис-НеоТек и Байкал Электроникс.

Wave уже выпустила чип, который состоит из тысяч вычислительных блоков, по сути упрощенных процессоров. Эта конструкция оптимизирована для очень быстрых вычислений нейронных сетей. У Wave есть компилятор, который превращает dataflow граф в файл конфигурации для этой структуры.

Объединенная компания создаст чип, который состоит из смеси таких вычислительных блоков и многопоточных ядер MIPS. Сейчас Wave продает свою технологию в виде ящика для дата-центров, для вычислений нейронных сетей в облаке. Следующие чипы будут использоваться во встроенных устройствах.
Читать полностью »

6

— Нет, друзья мои, так дело не пойдет! Вы кормите меня сказками уже год! Год! А ситуация только усугубляется! 27 % отклонений, почти треть склада не соответствует учету!

Курчатов был в бешенстве, что случалось редко — он был на удивление оптимистичным, образованным и, как казалось Сергею, интеллигентным для собственника бизнеса. Виденные им ранее владельцы значительно меньших компаний были не в пример прозаичнее.

— Вы понимаете, что значат для меня эти отклонения? Это деньги, миллионы, о которых я ничего не знаю! Вот ты, Анатолий Павлович, знаешь, сколько у тебя в кошельке денег?

— Не до копейки, но — да. — ответил Воронин, бывший коммерческий, а с недавнего времени — генеральный директор компании. Он чувствовал себя в обсуждаемой проблеме довольно бесстрашно, т.к. еще долго мог называть ее наследием прошлого директора.

— А я, представь себе, не знаю! Когда спрашиваю — мне говорят одну цифру, когда проводим ревизию и пересчитываем — получаем другую. Понимаете, что происходит? Заходит кто-то в мой кошелек, берет, что хочет, и тащит неизвестно куда! А я только удивляюсь при каждой ревизии — как такое возможно, и сколько это будет продолжаться. — выпалил Курчатов.Читать полностью »