Всем привет.
4 января вышла новая версия Apache Spark 1.6 с bug fix новыми возможностями обработки больших данных. На Хабре написано немало статей по использованию этого инструмента от введения до опыта использования в проектах. Spark работает на большинстве операционных систем и его можно запускать в локальном режиме даже на обычном ноутбуке. Используя простоту настройки Spark в этом случае грех не воспользоваться основными функциям. В этой статье мы посмотрим как на ноутбуке быстро настроить обработку большого файла (больше оперативной памяти компьютера) с помощью обычных SQL-запросов. Это позволит делать запросы даже неподготовленному пользователю. Дополнительное подключение iPython (Jupyter) notebook позволит составлять полноценные отчеты. В статье разобран простой пример обработки файла, другие примеры на Python есть тут.
Читать полностью »
Архив за 08 января 2016 - 3
Spark local mode: обработка больших файлов на обычном ноутбуке
2016-01-08 в 17:20, admin, рубрики: Apache Spark, api, big data, sqlToshiba наделяет накопители Canvio Premium и TransMemory EX Dual разъемами USB-C
2016-01-08 в 17:09, admin, рубрики: Новости, метки: новостиУчитывая начавшееся распространение разъемов USB-C, компания Toshiba наделила ими внешний жесткий диск Canvio Premium и флэш-накопитель TransMemory EX Dual. Обе новинки вошли в экспозицию компании на выставке CES 2016.
Security Week 01: Вымогатель на Javascript, $100k за баг в Adobe Flash, зашифрованное светлое будущее
2016-01-08 в 17:06, admin, рубрики: flash, javascript, klsw, nw.js, privategrity, ransomware, Zerodium, Блог компании «Лаборатория Касперского», бэкдор, информационная безопасность, криптография 
Важным событием конца декабря стала конференция Chaos Communication Congress. Материалы с нее можно найти по ключевому слову 32c3, где 32 — порядковый номер мероприятия, начиная с 1984 года. Интересных исследований на мероприятии в Гамбурге было немало. Например, эксперты Феликс Домке и Даниель Ланге подробно рассказали о технической стороне «дизельгейта», включая особенности работы современных управляющих систем автомобилей. А здесь можно посмотреть монументальную 110-страничную презентацию об уязвимости железнодорожных систем, и прийти к выводу, что IT в поездах применяется широко, много, везде по-разному, и часто с применением стандартного ПО (Windows XP) или типовых протоколов беспроводной связи (GSM), недостатки которых с точки зрения безопасности широко известны и активно эксплуатируются (к счастью, пока в других местах).
А вот новость (презентация и ссылка на исследовательскую работу внутри) о том, что уникальные особенности стиля программирования просачиваются даже в скомпилированный код. Хотя данная тема и является достаточно узкоспециализированной, я вижу в ней нечто большее: возможно в ближайшем будущем картинка справа окончательно потеряет актуальность. Не потому, что все за всеми будут следить, а благодаря поведенческому анализу — пользователя можно будет идентифицировать по тому, как он взамодействует с сайтом, приложением или чем-то еще так же, как программиста — по тому, как тот пишет код. Вот кстати Apple буквально вчера приобрела стартап, специализирующийся на анализе человеческих эмоций. В общем, 2016-й год начинается интересно. А мы продолжаем наблюдение. Предыдущие серии доступны здесь.
Читать полностью »
Производитель называет JBL Everest Elite 100 первыми беспроводными канальными наушниками с активной системой шумоподавления NXTGen
2016-01-08 в 16:49, admin, рубрики: Новости, метки: новостиКомпания Harman в ходе выставки CES 2016 наушники JBL Everest Elite 100. Сам производитель называет их первыми беспроводными канальными наушниками с активной системой шумоподавления NXTGen.
Купив MacBook у официального поставщика, можно остаться без официальной гарантии Apple. UPD. Но я добился успеха
2016-01-08 в 16:45, admin, рубрики: apple, macbook, mediamarkt, гарантия, Ноутбуки, расстройство 
Несколько дней назад я решил купить себе макбук. Вначале порыскал по Авито и понял, что б/у MacBook Air в хорошем состоянии будет стоить довольно дорого, а гарантий при этом никто никаких дать не может. Можно вспомнить хотя бы этот пост.
Что ж, тогда я решил поискать новый ноутбук в магазинах. В итоге все получилось не совсем по плану.
Читать полностью »
Беззеркальная камера Fujifilm X-E2S формата APS-C будет иметь разрешение 16 Мп
2016-01-08 в 16:35, admin, рубрики: Новости, метки: новостиНаряду с камерой Fujifilm X-Pro2 в ближайшие дни ожидается анонс другой беззеркальной камеры Fujifilm — X-E2S. По данным источника, в ней будет установлен датчик изображения X-Trans CMOS II формата APS-C разрешением 16 Мп и процессор EXR Processor II.
Объем флэшки OWC Envoy Pro mini — 480 ГБ, скорость передачи данных — 427 МБ/с
2016-01-08 в 16:23, admin, рубрики: Новости, метки: новостиКомпания OWC добавила в линейку флэш-накопителей Envoy Pro mini модель объемом 480 ГБ.
Флэшка в алюминиевом корпусе размерами 94 х 24 х 11 мм оснащена интерфейсом USB 3.0.
Расчет биномиальных коэффициентов на Си (С++)
2016-01-08 в 16:08, admin, рубрики: C, c++, Биномиальные коэффициенты, расчет, треугольник Паскаля, метки: Биномиальные коэффициенты, расчет, треугольник Паскаля При решении задач комбинаторики часто возникает необходимость в расчете биномиальные коэффициентов. Бином Ньютона, т.е. разложение 
также использует биномиальные коэффициенты. Для их расчета можно использовать формулу, выражающую биномиальный коэффициент через факториалы: 
или использовать рекуррентную формулу:
Из бинома Ньютона и рекуррентной формулы ясно, что биномиальные коэффициенты — целые числа. На данном примере хотелось показать, что даже при решении несложной задачи можно наступить на грабли.
Читать полностью »
Студенты Сеульского университета могут прокатиться на беспилотном авто Snuber
2016-01-08 в 16:03, admin, рубрики: Новости, метки: новостиНесмотря на то, что на дороги общего пользования беспилотные автомобили массово выйдут примерно в 2020 году, их уже можно встретить в некоторых частях света. И не всегда речь лишь об испытаниях.
К примеру, в Южной Корее появился подобный автомобиль с собственным именем — Snuber. Правда, перемещается он сугубо по территории Сеульского университета (4100 м²) и перевозит лишь студентов с ограниченными физическими возможностями. По сути, это своеобразное такси с весьма ограниченным ареалом обитания.
Представлен референсный дизайн адаптера WiGig IEEE 802.11ad для порта USB 3.0
2016-01-08 в 15:48, admin, рубрики: Новости, метки: новостиБеспроводное подключение со скоростью 1 Гбит/с по радиоканалу в диапазоне 60 ГГц обеспечивает адаптер, подключаемый к порту USB. Референсный образец такого изделия, соответствующего спецификациям IEEE 802.11ad (WiGig) и USB 3.0, представила компания SiBEAM, дочернее предприятие Lattice Semiconductor.
