Исторически в Почте Mail.Ru использовался механизм от «большого» Поиска (go.mail.ru); однако для задач поиска по почтовым ящикам такой вариант не был оптимальным ввиду большого потребления ресурсов и относительной сложности в обслуживании. Поиском по почте пользуются около 3% владельцев почтовых ящиков; однако, хотя эта цифра кажется относительно небольшой, ящики этих людей обычно достаточно объемны, и поиск им действительно необходим. Поэтому мы приняли решение написать специализированный поисковый демон, который будет заниматься именно поиском по почте. Основными требованиями к нему стали ограничения по потребляемым ресурсам (размер индекса — не более 3% от размера почтового ящика, среднее потребление оперативной памяти — не более 100 Мб, средняя утилизация CPU — не более 3%) и скорости исполнения запросов (среднее время — не более 200 мс). О том, как он был организован, я расскажу ниже.Читать полностью »
Архив января 2013 - 19
Полнотекстовый поиск: как это делают в Почте Mail.Ru
2013-01-29 в 12:34, admin, рубрики: mail.ru, Блог компании Mail.Ru Group, поиск, Поисковые машины и технологии, метки: mail.ru, поискПараллельное программирование в Python при помощи multiprocessing и shared array
2013-01-29 в 12:30, admin, рубрики: python, Программирование, метки: python, ПрограммированиеВведение.
Python замечательный язык. Связка Python + NumPy + Matplotlib, на мой взгляд, сейчас одна из лучших для научных расчётов и быстрого прототипирования алгоритмов. Но у каждого инструмента есть свои светлые и тёмные стороны. Одной из самых дискутируемых особенностей Python является GIL – Global Interpreter Lock. Я бы отнёс эту особенность к тёмной стороне инструмента. Хотя многие со мной не согласятся.
Если кратко, то GIL не позволяет в одном интерпретаторе Python эффективно использовать больше одного потока. Защитники GIL утверждают, что однопоточные программы при наличии GIL работают намного эффективнее. Но наличие GIL означает, что параллельные вычисления с использованием множества потоков и общей памяти невозможны. А это достаточно сильное ограничения в современном многоядерном мире.
Один из способов преодоления GIL при помощи потоков на C++ был недавно рассмотрен в статье: Использование Python в многопоточном приложении на C++. Я же хочу рассмотреть другой способ преодоления ограничений GIL, основанный на multiprocessing и shared array. На мой взгляд, этот способ позволяет достаточно просто и эффективно использовать процессы и разделяемую память для прозрачного параллельного программирования в стиле множества потоков и общей памяти.
Читать полностью »
Очки Google запрещены в Украине
2013-01-29 в 12:09, admin, рубрики: Google, Google Glass, Видео-техника, очки google, сбу, Украина, метки: Google Glass, очки google, сбу, УкраинаСлужба Безопасности Украины (СБУ) запретила использование очков Google. Официальные разъяснения по этому поводу публиковала ранее газета «Сегодня». Покупатели очков со встроенной видеокамерой и других «шпионских» устройств будут привлечены к уголовной ответственности.
UPD: В комментариях пишут, что запрет распространяется на всех членов Таможенного союза.
Первая бета Sublime Text 3 уже доступна для зарегистрированных пользователей. Далее несколько слов о новых возможностях, новых политиках цен и апгрейда, а также системной совместимости Sublime Text 3.
Идексироние символов. Sublime Text теперь сканирует файлы в вашем проекте, строит индекс того, какой файл какой символ содержит. Это способствует таким нововведениям, как Goto Definition и Goto Symbol in Project, оба доступные из Goto menu. Goto Definition переносит вас на объявление идентификатора, в то время как Goto Symbol in Project предлагает вам выбрать символ с помощью нечеткого сравнения и затем переносит вас на объявление идентификатора.
Управление клетками. Работа с несколькими клетками стала еще эффективнее с помощью команд создания и удаления клеток, а также быстрого перемещения файлов между клетками. Вы можете увидеть новые опции в View/Groups, View/Focus Group и View/Move file to Group.
Читать полностью »
Google добавил в Maps Северную Корею и её «достопримечательности»
2013-01-29 в 11:58, admin, рубрики: Google, Google Maps, северная корея, флешмоб, метки: Google Maps, северная корея, флешмоб 
Google добавил в свои карты Северную Корею.
Читать полностью »
В ритме современной жизни
2013-01-29 в 11:54, admin, рубрики: gtd, Блог компании SmartProgress, Стресс, тайм-менеджмент, цели, эффективность, метки: Стресс, тайм-менеджмент, цели, эффективностьКазалось бы, технический прогресс привёл к экономии времени и сил человека. Но тратят ли люди освободившееся время на себя, или используют его для того, чтобы стать ещё больше занятыми?
Вот, к примеру, что советует президент Microsoft в России для борьбы с нехваткой времени:
- Планируйте график таким образом, чтобы решать как можно меньше второстепенных срочных задач, а важные — решать до того, как они станут срочными;
- Занимайтесь любимым делом с максимальной вовлечённостью;
- Рассматривайте принцип жизненного баланса как важную личную и менеджерскую задачу.
Да, мы не можем поставить мир на паузу. Но мы можем изменить подход к делам и отношение к собственной жизни.
Amazon Elastic Transcoder
2013-01-29 в 11:50, admin, рубрики: Amazon Web Services, AWS, encoding, Блог компании EPAM Systems, Работа с видео, метки: aws, encoding Привет! 
Amazon Web Services предоставили своим пользователям новый сервис обработки видео Elastic Transcoder. Как вы понимаете, основной смысл — транскодирование видео.
Сервис представляет собой некий дата пайплайн. Мы даём ему информацию откуда брать видео, куда и в каком формате класть и всё. Я уже попробовал и хочу вам показать-рассказать что и как.
Читать полностью »
Восьмидисковые серверы QNAP VS-81xx Pro+ с портом HDMI предназначены для систем видеонаблюдения
2013-01-29 в 11:47, admin, рубрики: Новости, метки: новостиКомпания QNAP представила серию восьмидисковых серверов для систем видеонаблюдения VS-81xx Pro+. Емкость этих серверов достигает 32 ТБ, а к особенностям VS-81xx Pro+ относится наличие порта HDMI, позволяющего вести настройку и мониторинг без использования персонального компьютера на локальном дисплее высокой четкости.
Представлен широкоугольный объектив AF-S Nikkor 18-35mm f/3.5-4.5G ED стоимостью $750
2013-01-29 в 9:12, admin, рубрики: Новости, метки: новостиКомпания Nikon представила широкоугольный объектив AF-S 18-35mm f/3.5-4.5G ED, предварительные сведения о котором появились, а затем и обросли подробностями на прошлой неделе.