Рубрика «база данных» - 3

image

Не прошло и недели с момента обсуждения утечки стомиллионной БД аккаунтов социальной сети Вконтакте, которая, однако, оказалась базой еще за 2012 год, как произошел еще один вброс данных: на этот раз, по информации, полученной LeakedSource, в даркнете доступна база из 32 888 300 аккаунтов Twitter.

Полученная база хранится в открытом виде и неоднородна: она может содержать email или имя пользователя и его пароль, а в отдельных случаях присутствует еще и второй адрес электронной почты. По мнению авторов блога LeakedSource, БД была собрана при помощи вредоносного ПО, а не в ходе взлома самого Twitter.
Читать полностью »

В электронный вид переведут всю информацию о россиянах, хранящуюся в ЗАГСах, начиная с 1926 года

Посчитают всех: в РФ создадут электронную базу граждан на основе данных ЗАГСов - 1
Фото: Photoxpress

На Geektimes уже сообщалось о том, что в России планируют создать единую электронную базу, в которой будет содержаться информация обо всех гражданах страны (по крайней мере тех, о ком есть соответствующие записи в ЗАГСах). Сейчас этот проект постепенно реализуется. Делается это для того, чтобы упростить задачу идентификации населения (соответственно, укрепить и платежную дисциплину при уплате налогов и разнообразных взносов), пишет «Российская газета».

Соответствующий законопроект предложен Министерством финансов. Этот документ может вступить в силу уже с 1 января 2017 года. В принципе, с 2015 года записи актов гражданского состояния ЗАГСы могут вести в электронной форме, но далеко не везде есть соответствующая техническая возможность. Поэтому предлагается перевести все данные с бумаги в электронный вид централизованно. В пояснительной записке к законопроекту отмечается, что такой шаг поможет сформировать единый федеральный информационный ресурс, где содержатся сведения о населении страны.
Читать полностью »

Хотелось бы осветить внутреннюю разработку Ringostat — модуль, созданный программистом компании Владиславом Кудриком для корпоративного исследования. Его цель – определить, какие компании дают контекстную рекламу в том или ином городе.

Хотя он быть создан для решения конкретных задач, оказалось, что он способен выделить узкие рыночные сегменты путем более точной сегментации по длинным поисковым запросам, что открывает большое пространство для аналитики.

Парсер опирается на базу данных сервиса Prodvigator и функционал поисковых систем Яндекс и Google по геотаркетингу. С помощью модуля мы смогли найти компании, которые крутят контекстную рекламу в определенном городе и стране, отфильтрованные по ключевому запросу, но функционал парсера намного шире. Все найденные данные были уникальными и не повторялись. Его функции будут полезны тем, кто ищет партнеров или клиентов своего рынка в конкретном городе.
Читать полностью »

Федеральная налоговая служба берёт на себя функции ЗАГСов. Создаётся единый реестр населения России - 1Федеральная налоговая служба создаст единый достоверный реестр информации, который будет хранить информацию об актах гражданского состояния всего населения России — рождениях, браках, разводах, смертях, переменах фамилии. Информация из 2638 ЗАГСов, разбросанных по всей территории страны, отныне будет храниться в одном надёжном месте.

Новая система регистрации и идентификации призвана наверняка идентифицировать того или иного человека, сказали представители ФНС в комментарии «Российской газете». Они говорят, что нынешняя система несовершенна. ЗАГСы «действуют вне рамок единых государственных информационных систем», что приводит к массе ошибок в информации, используемой органами власти.

В то же время, точная информация о гражданах и их статусе (жив/мёртв, женат/неженат, смена фамилии и проч.) необходима для начисления и взимания налогов и сборов, предоставлении льгот и пособий. ФНС и другие госструктуры хотят иметь полный доступ к достоверной и актуальной базе со 146 519 759 записей о жителях РФ.
Читать полностью »

image

На сегодняшний день две мои самые любимые темы — SQLite и key-value базы данных. И в этот раз я пишу сразу про обе: этот пост посвящён Python-обёртке для используемого в SQLite 4 key-value хранилища на основе LSM.

Я не слишком внимательно отслеживаю релизы SQLite, но версия 3.8.11 привлекла моё внимание, поскольку в её описании заявлено серьёзное увеличение производительности по сравнению с 3.8.0. В сопроводительной информации я наткнулся на упоминание о новом экспериментальном расширении для полнотекстового поиска (о котором писал когда-то), и потому мне стало интересно, какая складывается ситуация с SQLite 4.

Изучив доступную информацию, я обратил внимание, что одной из задач разработчиков было обеспечить в новых версиях интерфейс для подключаемых движков баз данных. На момент написания этого поста в SQLite 4 уже было два встроенных бэкенда, один из которых — key-value хранилище на основе LSM. В последние пару месяцев мне доводилось поиграться с Cython, пока я писал Python-обёртку для встроенных k-v хранилищ UnQLite и Vedis. И я подумал, что было бы неплохо применить Cython для создания интерфейса движка БД на основе LSM, используемого в SQLite 4.

Разобравшись с исходным кодом SQLite 4 и крохотным заголовочным файлом LSM, я написал python-lsm-db (документация).
Читать полностью »

В начале июля парламент Кувейта принял закон, обязывающий всех жителей страны, а также иностранных граждан, которые пересекают её границу, в обязательном порядке проходить ДНК-тестирование. Таким образом власти страны отреагировали на террористическую атаку, произошедшую 26 июня, в результате которой погибли 27 человек и было ранено более 200. Ответственность за теракт взяло на себя «Исламское государство».
Читать полностью »

image
Фото Flickr
Специальная служба одного из лондонских районов намерена собрать образцы ДНК собак для того, чтобы найти её владельца в случае, если он поленится убрать экскременты за своим питомцем. Таким высокотехнологичным образом лондонские власти надеются уменьшить затраты на уборку улиц, которые составляют £2.3 миллиона (около $3.5 млн) в год. Штраф для неаккуратного хозяина составит довольно значительную сумму в £80 (или $122).
Читать полностью »

«Какие бывают ошибки, или правильное применение базы данных»

Друзья, мы приглашаем всех, кто занимается архитектурой веб-приложений послушать о том, что такое хорошо, а что такое плохо, если ты используешь в своем проекте базу данных. Выбор хранилища данных — сложная задача, с которой рано или поздно сталкиваются разработчики. Чаще всего результат этого выбора — это компромисс. Сергей Аверин, разработчик компании Badoo, расскажет о собственном опыте, набитых «шишках», рассмотрит важные проблемы, связанные с этой задачей.

Читать полностью »

image

В контексте последних законов, событий и тенденций как никогда очевидна ценность рутрекера как базы данных различного контента, а не как конкретного ресурса. К сожалению все мои призывы к администрации рутрекера предоставить общедоступный, полный, удобный дамп их базы наткнулся на полное непонимание с их стороны. Выкладывать нечто, что они называют зашифрованной «базой» — я не считаю решением проблемы по причинам, изложенным в вышеприведенных ветках обсуждения и продублированным ниже.

К сожалению, решить проблему своими силами у меня не хватило ни времени, ни, будем откровенны, знаний. Но к счастью, мои слова возымели действие на людей, которые и тем и другим обладают. В итоге эти люди организовались и сообща сделали то, о чём так долго говорили большевики о чем я писал, а именно с помощью скриптов обошли рутрекер, сдампили все описания раздач с хешами, распарсили их и скомпоновали в удобную для употребления базу. В дополнение к этому так же была написана «морда»: программа для удобной работы с базой конечных пользователей, не знающих с какого конца держат grep. К сожалению, аккаунта на хабре никто из этой команды не имеет (если не считать read-only), в песочнице статья могла бы потеряться, поэтому меня выбрали как рупор для данной площадки. Я, честно говоря, раздумывал совсем недолго и только над тем, как правильнее все сделать. Если будут какие-то вопросы — задавайте мне в комментах, я либо отвечу сам, либо переадресую разработчикам. Технические тексты от первого лица, но я имею к ним косвенное отношение, они оставлены в таком виде для простоты восприятия.

Прежде, чем перейти к технической части и ссылкам, хотел бы добавить, что весь смысл этой затеи в том, чтобы как можно больше людей сохранили эту базу к себе. Поэтому очень Вас прошу, скачать данные по ссылкам ниже (желательно использовать торрент) и оставаться на раздаче как можно дольше. Скорее всего в будущем база будет обновляться, но этот момент еще не продуман до конца.

Читать полностью »

Даже блондинка сможет подобрать нормальный Android девайс (+бонус: топ самых самых Android’нутых устройств)
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js