Рубрика «базы данных» - 19

Unit-тесты в СУБД — как мы делаем это в Спортмастере, часть вторая

2019-08-30 в 11:04, admin, рубрики: автотесты, Администрирование баз данных, базы данных, Блог компании Sportmaster Lab, Спортмастер, тестирование, Тестирование IT-систем, Тестирование веб-сервисов

Первая часть — здесь.

Представьте ситуацию. Перед вами стоит задача разработки нового функционала. У вас есть наработки от ваших предшественников. Если предположить, что вы никаких моральных обязательств не имеете, то как бы вы поступили?

Чаще всего все старые наработки подвергаются забвению и всё начинается сначала. В чужом коде копаться никто не любит, а при наличии времени почему бы не заняться созданием собственной системы? Это типичный подход, и он во многом правильный. Но в своём проекте мы поступили не так. В основу будущей системы автоматического тестирования мы заложили наработки по unit-тестам на utPLSQL от предшественников, а затем пошли работать в нескольких параллельных направлениях.
Читать полностью »

Госуслуги показали первые 10 «Суперсервисов»

2019-08-27 в 14:35, admin, рубрики: базы данных, Госвеб, госуслуги, запуск, кейсы, персональные данные, Текучка, электронный документооборот, метки: базы данных, Госвеб, госуслуги, запуск, кейсы, персональные данные, Текучка, электронный документооборот

Минкомсвязи опубликовало на сайте Госуслуг демонстрационные видеоролики, краткие описания и календарь запуска так называемых «суперсервисов». Под ними подразумеваются услуги, где необходимые документы автоматически подбирает государственная система, а не гражданин (заявитель, истец, абитуриент Читать полностью »

Telegram в качестве хранилища данных для IT проектов

2019-08-24 в 11:57, admin, рубрики: Google Sheets, python, sql, sqlite, sqllite, telegram, telegram bots, базы данных, кликер, телеграмм боты, хранилища данных

Добрый день, сегодня я хотел бы поделится с Вами проблемами и их необычными решениями, которые встретились при написании небольших IT проектов. Сразу скажу, что статья для тех, кто хоть немного разбирается в разработке телеграмм ботов, баз данных, SQL и в языке программировании python.

Весь проект выложен на github, ссылка будет в конце статьи.

Основная проблема

Изначально я хотел для себя написать простенького телеграмм бота счетчика калорий, который получает число от пользователя и возвращает сколько калорий осталось до нормы на день. То есть нужно хранить грубо говоря пару переменных для каждого пользователя.
Читать полностью »

Unit-тесты в СУБД — как мы делаем это в Спортмастере, часть первая

2019-08-23 в 11:05, admin, рубрики: автотесты, Администрирование баз данных, базы данных, Блог компании Sportmaster Lab, Спортмастер, тестирование, Тестирование IT-систем, Тестирование веб-сервисов

Привет!

Меня зовут Максим Пономаренко и я — разработчик в Спортмастере. Имею 10-летний опыт работы в IT-сфере. Начинал карьеру в в области ручного тестирования, затем переключился на разработку баз данных. Последние 4 года, аккумулируя знания, полученные в тестировании и разработке, занимаюсь автоматизацией тестирования на уровне СУБД.

В команде Спортмастера я состою чуть более года и на одном из крупных проектов занимаюсь разработкой автоматизированного тестирования. В апреле мы с ребятами из Sportmaster Lab выступали на конференции в Краснодаре, мой доклад назывался «Unit-тесты в СУБД», и сейчас хочу поделиться им с вами. Текста будет много, поэтому я решил разбить доклад на два поста. В первом мы поговорим об автотестах и тестировании в общем, а во втором я подробнее остановлюсь на нашей системе unit-тестирования и результатах ее применения.

Вначале немного скучной теории. Что такое автоматическое тестирование? Это тестирование, которое проводится программными средствами, и в современном IT оно все чаще и чаще используется при разработке ПО. Связано это с тем, что компании растут, растут их информационные системы и соответственно растет и количество функционала, которое надо тестировать. Проводить ручное тестирование становится всё накладнее и накладнее.
Читать полностью »

Число Зверя, или Новый властный класс

2019-08-15 в 12:28, admin, рубрики: big data, базы данных, безопасность, Госвеб, законотворчество, кейсы, Нам пишут, персональные данные, метки: big data, базы данных, безопасность, Госвеб, законотворчество, кейсы, Нам пишут, персональные данные

В продолжение возникшей в обществе и СМИ
дискуссии о единой государственной базе персональных данных
о гражданах, хотелось бы сказать следующее

В первую очередь этот разговор обычно начинают с безопасности данных. Не будет ли центральная база наиболее уязвима, что с риском утечек и т. п. Давайте начнём с этого, хотя это точно не главное:

1. Вопросы безопасности данных

Есть мнение,Читать полностью »

PVS-Studio в гостях у Apache Hive

2019-08-15 в 7:12, admin, рубрики: Apache Hive, big data, bugs, devops, DevSecOps, errors, Hadoop, Hive, java, open source, pvs-studio, pvsstudio, SAST, source code, static code analysis, static code analyzer, баги, базы данных, Блог компании PVS-Studio, информационная безопасность, открытые проекты, ошибки, статический анализ кода

Последние десять лет движение open source является одним из ключевых факторов развития IT-отрасли и важной ее составной частью. Роль и место open source не только усиливается в виде роста количественных показателей, но происходит и изменение его качественного позиционирования на IT-рынке в целом. Не сидя сложа руки, бравая команда PVS-Studio активно способствует закреплению позиций open source проектов, находя затаившиеся баги в огромных толщах кодовых баз и предлагая для таких проектов бесплатные лицензии. Эта статья не исключение! Сегодня речь пойдет об Apache Hive! Отчет получен — есть на что посмотреть!
Читать полностью »

1.1 миллиард поездок на такси: 108-ядерный кластер ClickHouse

2019-08-14 в 12:23, admin, рубрики: big data, clickhouse, data engineering, Администрирование баз данных, базы данных, Блог компании OTUS. Онлайн-образование

Перевод статьи подготовлен специально для студентов курса «Data Engineer».

ClickHouse — это колоночная база данных с открытым исходным кодом. Это великолепная среда, где сотни аналитиков могут быстро запрашивать развернутые данные, даже когда вводятся десятки миллиардов новых записей в день. Расходы на инфраструктуру для поддержки такой системы могут достигать 100 тыс. долларов США в год, и потенциально вдвое меньше, в зависимости от использования. В какой-то момент инсталяция ClickHouse от Яндекс Метрики содержала 10 триллионов записей. Помимо Яндекса, ClickHouse также снискала успех у Bloomberg и Cloudflare.Читать полностью »

Концепция персистентной ткани для контроля IT-инфраструктуры

2019-08-13 в 8:01, admin, рубрики: Администрирование баз данных, базы данных, Блог компании Конференции Олега Бунина (Онтико), графовые базы данных, инфраструктура

Всем привет. Расскажу вам про микросервисы, но немного с другой точки зрения, чем Вадим Мадисон в посте «Что мы знаем о микросервисах». Вообще я считаю себя разработчиком баз данных. При чем же тут микросервисы? В Авито используются: Vertica, PostgreSQL, Redis, MongoDB, Tarantool, VoltDB, SQLite… Всего у нас 456+ баз для 849+ сервисов. И с этим как-то нужно жить.

В этом посте я расскажу вам про то, как мы реализовали data discovery в микросервисной архитектуре. Этот пост — вольная расшифровка моего доклада с Highload++ 2018, видео можно посмотреть тут.

Концепция персистентной ткани для контроля IT-инфраструктуры - 1

Читать полностью »

Почему не SQL?

2019-08-12 в 7:11, admin, рубрики: lsFusion, Microsoft SQL Server, mssql, oracle, sql, базы данных, Блог компании lsFusion, Программирование

Почему не SQL? - 1

Без преувеличения можно сказать, что SQL — один из самых распространенных в мире языков. Информационные системы могут быть написаны на Java, Python, JavaScript, C#, PHP и десятке других языков, но SQL база в том или ином виде будет в абсолютном большинстве таких систем. Среди бизнес-приложений процент систем, использующих SQL, вообще стремится к 100%.

При этом большинство существующих материалов о SQL на хабре и других ресурсах сводятся к простым вопросам, вроде: «какие типы соединений бывают», «чем левое соединение отличается от правого», «что такое триггеры» и так далее. Более того, в этих материалах практически ничего не говорится о проблемах SQL (и его реализациях), которых на самом деле очень и очень немало. Поэтому мы решили восполнить оба этих пробела: с одной стороны рассказать, как многие вещи в SQL работают изнутри, а с другой стороны — почему они работают не так как нужно / хотелось бы.

При этом речь в статье пойдет не о «вкусах и цветах фломастеров». Все затрагиваемые проблемы носят фундаментальный характер: присутствуют при разработке практически любой информационной системы и не ограничиваются «красотой кода», а в той или иной степени приводят либо к критическому падению производительности, либо к существенному росту порога вхождения, либо к значительным трудозатратам со стороны разработчика.
Читать полностью »

В сеть попала база данных 70 тыс. клиентов Бинбанка

2019-08-05 в 13:35, admin, рубрики: базы данных, банки, безопасность данных, Бинбанк, защита персональных данных, информационная безопасность

В сеть попала база данных клиентов Бинбанка в количестве 70 тыс. строк стоимостью около 5 рублей за строку. Как сообщил основатель DeviceLock Ашот Оганесян «Коммерсанту», база «на днях была уже продана эксклюзивно в одни руки». Сейчас ее предлагают еще несколько продавцов данных, пишет издание.

_{Источник: ria.ru}