Всем доброго времени суток! Недавно жизнь подкинула автору увлекательную работу по развертыванию MongoDB кластера с настройкой репликации и шардирования, а также аутентификации c использованием x.509 сертификатов. В данной статье я в первую очередь хотел бы изложить свои мысли и поделиться полученными опытом. Так как некоторые вещи оказались не тривиальными и сделать их с первого раза не удавалось, то думаю мои пошаговые инструкции могут пригодиться для освещения вопроса тем кто только знакомится с шардированием данных и работой с MongoDB в целом.
Также я буду очень рад увидеть рекомендации по добавлению/изменению конфигурации кластера и просто вопросы или критику по самой статье или по сути вопроса.
Читать полностью »
Рубрика «mongodb» - 10
Настройка MongoDB ShardedCluster с X.509 аутентификацией
2016-08-29 в 10:33, admin, рубрики: cluster, mongodb, mongoengine, pymongo, python, replica set, X.509, Администрирование баз данных, хранение данныхКак мы делали мониторинг запросов mongodb
2016-08-28 в 16:14, admin, рубрики: Go, golang, mongodb, monitoring, optimization, pcap, sniffer, Блог компании okmeter.io, Программирование
Использование монги в production — достаточно спорная тема.
С одной стороный все просто и удобно: положили данные, настроили репликацию, понимаем как шардировать базу при росте объема данных. С другой стороны существует достаточно много страшилок, Aphyr в своем последнем jepsen тесте сделал не очень позитивные выводы.
По факту оказывается, что есть достаточно много проектов, где mongo является основным хранилищем данных, и нас часто спрашивали про поддержку mongodb в окметр. Мы долго тянули с этой задачей, потому что сделать "осмысленный" мониторинг на порядок сложнее, чем просто собрать какие-то метрики и настроить какие-нибудь алерты. Нужно сначала разобраться в особенностях поведения софта, чтобы понять, какие именно показатели отслеживать.
Как раз про сложности и проблемы я и хочу рассказать на примере реализации мониторинга запросов к mongodb.
Как я изобретал велосипед, или мой первый MEAN-проект
2016-08-28 в 14:26, admin, рубрики: angular2, AngularJS, express, javascript, mean, mongodb, node.js
Сегодня, в период стремительного развития веб-технологий, опытному фронтэнд-разработчику нужно всегда оставаться в тренде, каждый день углубляя свои познания. А что делать, если Вы только начинаете свой путь в мире веб? Вы уже переболели вёрсткой и на этом не хотите останавливаться. Вас тянет в загадочный мир JavaScript! Если это про Вас, надеюсь данная статья придётся к стати.
Хобби-проекты: lets-meet.ru — куда пойдем в пятницу
2016-08-26 в 16:05, admin, рубрики: jquery, mongodb, underscore, Блог компании DataArt, Разработка веб-сайтов, разработка сайтов
Автор: Артем Трубачев
Идея создания этого приложения родилась, когда мы с коллегами в очередной раз собирались пойти в бар, но никак не могли договориться о дате. Все мы люди взрослые, и свободного времени у нас, конечно, мало. lets-meet.ru создан как раз чтобы определить, когда всем будет удобнее собраться.
В двух словах, это работает так: вы создаете встречу и указываете варианты даты, время и места. Также можно добавить дополнительные вопросы.Читать полностью »
Разработка облачного сервиса Scorocode: часть 1
2016-08-10 в 8:26, admin, рубрики: BaaS, backend, backend as a service, Go, golang, mongodb, scorocode, Блог компании Scorocode, облачный сервис, Программирование, разработка мобильных приложений, разработка облачных сервисов
В этой статье я расскажу, как мы разрабатывали облачный сервис Scorocode, с какими проблемами столкнулись, и, что самое важное, поделюсь планами развития.
Небольшой опрос в конце статьи позволит читателям отдать голоса за планируемые в будущем функции, тем самым повлияв на стратегию развития сервиса.
Читать полностью »
Deform: simple database as a service
2016-07-07 в 14:15, admin, рубрики: dbaas JSON mongodb jsonschema, mongodb, Программирование, Разработка под android, разработка под iOS, метки: dbaas JSON mongodb jsonschemaПредставьте себе базу данных, способную валидировать JSON данные по схеме JSON Schema, отрабатывать события и обрабатывать данные. А если идея реализованна как сервис, использующий mongodb?
Мы разработали именно такой сервис. Им пользуются наши сайд проекты:
- docast.me — любые источники данных можно слушать/смотреть в любимом подкастинговом приложении
- watchlater — решение проблемы watch later youtube
- warhealth — мобильное приложение
Под катом краткое описание основных особенностей сервиса с примерами.
NeDB: аналог SQLite для NodeJS
2016-05-27 в 8:59, admin, рубрики: javascript, mongodb, NeDB, node.js, nosql, метки: NeDB
NeDB (Node.js Embedded Database) — встраиваемая база данных для NodeJS, реализующая подмножество MongoDB API. Эта легкая NoSQL СУБД написана на чистом JavaScript, не имеет бинарных зависимостей и, помимо NodeJS, может использоваться в NW.js, Electron или прямо в браузере.Читать полностью »
Как найти ближайшее кафе, достопримечательность, свободное такси глазами программиста
2016-05-23 в 10:43, admin, рубрики: geo, mongodb, postgresql, redis, Геоинформационные сервисыСервисы, решающие какие-либо задачи в контексте нашего местоположения достаточно прочно вошли в нашу жизнь. Большинство смартфонов может при наличии доступа в интернет вызвать нам такси, рассчитать, через сколько приедет автобус, проложить маршрут с учетом пробок и различных предпочтений пользователя или показать друзей поблизости. Задачки вроде поиска ближайших кафе или достопримечательностей стали для них тривиальны и обычно могут быть решены вообще без доступа ко всемирной паутине. В данной статье я хочу рассмотреть некоторые инструменты для решения подобных задач и сравнить их производительность между собой.
Читать полностью »
Развертывание стека MEAN (MongoDB, Express, AngularJS, Node.js) в Microsoft Azure
2016-04-28 в 12:14, admin, рубрики: AngularJS, azure, azure marketplace, express, linux, mean, Microsoft Azure, mongodb, node.js, open source, Блог компании MicrosoftВы уже знаете, что мы запустили новый проект, посвященный проектам с открытым исходным кодом — linuxloves.ms. Подробности про проект вы можете найти в нашей публикации на Хабре, которая уже вызвала ожесточенный флейм :-).
Разработчики, которые создают решения в стеке MEAN могут легко размещать свои решения в облачной платформе Microsoft Azure. Проще всего это сделать с помощью виртуальных машин.
Для упрощения работы с виртуальными машинами в облаке Azure предлагается площадка Azure Marketplace, в которой находятся сотни заранее настроенных виртуальных машин с разным окружением и установленными инструментами, включая операционные системы, базы данных, среды, фреймворки, CMS и так далее.
Рассмотрим, как любой пользователь Azure может развернуть стек MEAN за несколько минут.
Читать полностью »
Личные данные 93,4 млн мексиканцев попали в открытый доступ
2016-04-25 в 12:15, admin, рубрики: amazon, AWS, mongodb, информационная безопасность, мексика, неправильная конфигурация, облачные сервисы, утечка данныхВ базе присутствуют все граждане Мексики старше 18 лет
База данных размером 132 гигабайта, которая содержит регистрационные данные 93,4 млн мексиканских избирателей, попала в онлайн. О том, что база лежит на хостинге AWS и доступна для просмотра всем желающим, сообщил специалист по безопасности Крис Виккери (Chris Vickery) из компании Kromtech, разработчика программы MacKeeper1.
База содержит имя и фамилию каждого гражданина, полный адрес, идентификационный номер избирателя, дату рождения, имена родителей, род занятий и т.д. По словам Виккери, информация была доступна из СУБД MongoDB с некорректной конфигурацией.
Читать полностью »