Сделать свою собственную SQL-базу данных или запускать SQL-запросы в NoSQL-базе данных — кажется, это очень непростая задача. А если мы говорим о распределенной БД, то сложность возрастает многократно. Но, к счастью, Apache Calcite — фреймворк с открытым кодом — поможет сделать это довольно легко.
Рубрика «высокая производительность» - 10
Как прикрутить SQL к чему угодно при помощи Apache Calcite
2021-09-17 в 7:17, admin, рубрики: Apache, Apache Calcite, Apache Ignite, sql, sql tips and tricks, базы данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, конференции, распределенные системы, распределенные файловые системыНейроморфные вычисления и их успехи
2021-09-14 в 13:00, admin, рубрики: artifical intelligence, deep learning, neuromorphic, neuroscience, ruvds_перевод, Блог компании RUVDS.com, будущее здесь, высокая производительность, искусственный интеллект, мозг, нейроморфные вычисленияВот уже лет сто, а то и больше, человечество мечтает, размышляет, пишет, поёт, снимает фильмы о машинах, которые могут думать, рассуждать и, подобно нам, обладают разумом. Произведения литературного и кинематографического искусства — начиная с романа «Едгин», опубликованного в 1872 году Сэмюэлем Батлером, со статьи Эдгара Аллана По «Игрок в шахматы Мельцеля», с фильма «Метрополис» 1927 года — продемонстрировали миру идею, в соответствии с которой машины могут думать и рассуждать как люди. Причём, в этой идее нет ни магии, ни ещё чего-то фантастического. Те, кого захватывала эта идея, вдохновлялись автоматонами из глубокой древности и работами философов — таких, как Аристотель, Раймунд Луллий, Томас Гоббс и многих, многих других.
Идеи философов о человеческом разуме привели к вере в то, что рациональное мышление можно описать, пользуясь алгебраическими или логическими механизмами. Позже, с появлением электронных приборов, компьютеров и закона Мура, человечество попало в состояние постоянного ожидания того, что вот ещё немного — и появится машина, разум которой сравним с человеческим. Некоторые объявляли разумные машины спасителями человечества, а некоторые видели в этих машинах источник великого бедствия, так как полагали, что появление на Земле второй разумной сущности приведёт к уничтожению первой, то есть — людей.
Читать полностью »
HTTP-3 от А до Я: основные концепции. Часть 1
2021-09-14 в 6:00, admin, рубрики: devops, http/2, HTTP/3, http2, HTTPS, QUIC, tcp, TLS, udp, Блог компании Southbridge, высокая производительность, интернет, Разработка веб-сайтов, Серверное администрирование
Фото Florencia Viadana, Unsplash.com
После почти пятилетних разработок протокол HTTP/3 наконец приближается к окончательному выпуску. Предыдущие итерации уже доступны как экспериментальная функция, но в 2021 году мы ждём широкого распространения протокола. Что такое HTTP/3? Зачем выпускать его так рано после HTTP/2? Как его можно или нужно использовать? Как он влияет на производительность?
Does the latency matter?
2021-09-10 в 7:21, admin, рубрики: highload, highload systems, http, latency, request, request time, TLS, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, производительность, производительность приложений, производительность сайта, распределенные системы, Сетевые технологии
Есть исследование от Google, которое говорит, что если ваш сайт открывается больше трех секунд, то вы потеряете около 40% десктопных пользователей и более 50% — мобильных. Еще есть репорт от Amazon, который говорит, что для Amazon каждые 100 мс дополнительного latency стоит им 1% продаж. В объемах Amazon это миллионы долларов.
В зависимости от вашего бизнеса вам стоит тоже ответить на вопрос: Does the latency matter?
Ботнет Mēris: расследуем крупнейшую DDoS-атаку в истории интернета
2021-09-09 в 9:00, admin, рубрики: ddos, Mēris, mikrotik, Mirai, Qrator Labs, Блог компании Qrator Labs, Блог компании Яндекс, высокая производительность, информационная безопасность, яндекс
На днях в СМИ появилась информация о DDoS-атаке на Яндекс. Это правда, но не вся. Нашим специалистам действительно удалось отразить рекордную атаку более чем в 20 млн RPS — это самая крупная атака из известных за всю историю интернета. Но это лишь одна из множества атак, направленных не только на Яндекс, но и на многие другие компании в мире. Атаки продолжаются уже несколько недель, их масштабы беспрецедентны, а их источник – новый ботнет, о котором пока мало что известно.
Сегодня вместе с коллегами из Qrator Labs мы хотим поделиться текущими результатами совместного расследования деятельности нового ботнета Mēris. Расследование еще продолжается, но мы считаем важным поделиться уже собранной информацией со всей индустрией.
128-ядерные процессоры Tachyum Prodigy все реальнее: компания разработала аппаратные эмуляторы и запустила Linux
2021-09-06 в 16:39, admin, рубрики: tachyum prodigy, Блог компании Selectel, высокая производительность, Производство и разработка электроники, Процессоры, чипы
На конференции ISC High Performance 2020 словацкая компания Tachyum анонсировала 128-ядерные процессоры Prodigy, а также ИИ-комплекс на их основе.
Процессоры планируется использовать в крупных ЦОД, высоконагруженных платформах, ИИ-системах и прочих направлениях, где нужна высокая производительность. Чип очень сложный, как сам по себе, так и в производстве, поэтому его разработка ведется не самыми быстрыми темпами. Но компания делает, что может, и действует весьма неплохо. О том, чего уже удалось достичь — под катом.
Читать полностью »
Ускоряем цикл foreach до for
2021-09-01 в 8:35, admin, рубрики: .net, C#, csharp, performance, высокая производительностьПривет! Хочу рассказать об интересном опыте, как я писал енумератор для типа Range, который был бы таким же дешевым, как цикл for.
Что мы хотим?
У System.Range, как известно, очень красивый синтаксис создания:
var a = 1..2; // эквивалент new Range(1, 2)Поэтому, как эксперимент, я решил абузить его для цикла foreach, как замена for:
foreach (var i in 1..5)
Console.Write(i);(выводит 12345)
Для foreach Розлин требует метод GetEnumerator, который возвращал бы что-то, у чего есть bool MoveNext() и T Current. Этот метод можно добавить как метод расширения:
Читать полностью »PostgreSQL Antipatterns: «слишком много золота»
2021-08-17 в 9:10, admin, рубрики: explain.tensor.ru, json, lateral, postgresql, sql, Администрирование баз данных, Блог компании Тензор, высокая производительность, генерация кода, параметрыИногда мы пишем SQL-запросы, мало задумываясь над тем фактом, что сначала они должны быть по сети как-то доставлены до сервера, а затем их результат - обратно в клиентское приложение. Если при этом на пути до сервера присутствует еще и пулер соединений типа pgbouncer, дополнительно "перекладывающий" байты между входящими и исходящими коннектами, ситуация становится еще тяжелее...
Поэтому сегодня рассмотрим некоторые типичные ситуации, в которых разработчики иногда принимают не самые оптимальные решения, гоняя по сети мегабайты трафика при общении с сервером PostgreSQL - а заодно посмотрим, Читать полностью »
V8 в бэкенде С++: от одного JS-скрипта до фреймворка онлайн-вычислений
2021-08-17 в 6:50, admin, рубрики: c++, javascript, V8, Анализ и проектирование систем, Блог компании Яндекс, высокая производительность, команда яндекс.такси, Проектирование и рефакторингВ этой статье я расскажу о долгом путешествии, в котором простая идея выноса в JavaScript часто меняющихся фрагментов алгоритма постепенно выросла в универсальный фреймворк, позволяющий быстро создавать микросервисы и так же быстро их развивать. Сейчас он служит основой для множества микросервисов в Яндекс Go. Тут не будет много специфики Go. Вместо этого будет много разработки и решений технических задач (а не продуктовых). Ещё я, конечно, расскажу про возникшие в процессе трудности: если вам, например, интересно, как V8 уживается с корутинами или как мы оптимизировали работу с ним для производительности, то добро пожаловать под кат.
