Рубрика «redshift»
Достучаться до небес: астроном-любитель с ИИ-агентом анализируют данные телескопа Евклид
2026-09-28 в 14:30, admin, рубрики: astra, codex, gpt-5, redshift, астроном-любитель, ии-агенты, ии-ассистент, Космология, сезон код будущего, телескоп
Houdini и 3D модель вируса SARS-CoV-2
2021-11-30 в 10:45, admin, рубрики: CGI (графика), covid, Houdini, redshift, rocket science, биология, Блог компании Science in Motion, Компьютерная анимация, коронавирус, молекулярная биология, Научно-популярноеМы создали атомарную 3D модель вируса SARS-CoV-2. И хотим рассказать о нашем проекте.
Это переработанная версия нашей статьи для N+1.
https://nplus1.ru/blog/2021/07/29/sars-cov-2-model
Молекулярная биология. Houdini. NVIDIA 3080. Коронавирус vs иммуноглобулины
2021-05-01 в 10:04, admin, рубрики: CGI (графика), coronavirus, Houdini, IgG, Nvidia, redshift, антитела, иммуноглобулин, Компьютерная анимация, коронавирус, молекулярная биология, Научно-популярное, Работа с 3D-графикой
Это мой второй текст на Хабре. Он плавно вырос из первой статьи «Молекулярная биология и Houdini летом двадцатого».
О топорах и капусте
2019-05-24 в 15:57, admin, рубрики: Amazon Web Services, AWS, cloudwatch, EC2, ecs, kinesis firehose, redshift, облачные сервисы, сертификацияРазмышления о том, откуда берется желание сдать сертификацию AWS Solutions Architect Associate.
Мотив первый: «Топоры»
Один из самых полезных для любого профессионала принципов «Знай свои инструменты» (или, в одно из вариаций «точи пилу»).
Мы в облаках уже давно, но до поры до времени это были просто монолитные приложения с базами, развернутые на инстансах EC2 — дёшево и сердито.
Но постепенно нам стало тесно в рамках монолита. Взяли курс на распил в хорошем смысле – на модуляризацию, а затем и модные нынче микросервисы. И очень быстро на этой почве «расцветают сто цветов».
Да что там далеко ходить – проект логирования активности, который я сейчас веду, включает в себя:
- Клиентов в виде разнообразных приложений нашего продукта – от глухих уголков дремучего легаси до ультрамодных микросервисов на .Net Core.
- Очереди Amazon SQS, в которые складываются логи о том, что происходит с клиентами.
- Микросервис на .Net Core, который достает сообщения из очереди и отправляет их в Amazon Kinesis Data Streams (KDS). Имеет также Web API интерфейс и swagger UI как дублирующий канал и для ручного тестирования. Оборачивается в докеровский linux-контейнер и хостится под управлением Amazon ECS. Предусмотрен autoscaling на случай большого потока логов.
- Из KDS данные пожарными шлангами направляются в Amazon Redshift с промежуточными складами в Amazon S3.
- Операционные логи для девелоперов (дебаг-информация, сообщения об ошибках и т.п.) форматируются в приятный глазу JSON и отправляются в Amazon CloudWatch Logs
Работая с таким зоопарком сервисов AWS хочется знать что есть в арсенале и как это что-то лучше использовать.
Читать полностью »
Переход с Redshift на ClickHouse
2018-12-19 в 8:06, admin, рубрики: Amazon Web Services, AWS, big data, BigData, clickhouse, devops, funcorp, redshift, Блог компании FunCorp, системное администрирование
Долгое время в iFunny использовался Redshift в качестве базы данных для событий, которые происходят в сервисах бэкенда и мобильных приложениях. Его выбрали потому, что на момент внедрения, по большому счёту, не было альтернатив, сравнимых по стоимости и удобству.
Однако всё изменилось после публичного релиза ClickHouse. Мы долго его изучали, сравнивали стоимость, прикидывали примерную архитектуру и вот, наконец, этим летом решились посмотреть, насколько он нам полезен. Из этой статьи вы узнаете о том, какую проблему нам помогал решить Redshift, и как мы перенесли это решение на ClickHouse.
Читать полностью »
Процедурное создание зданий
2018-11-12 в 7:37, admin, рубрики: 3d-моделирование, Houdini, redshift, Дизайн игр, Моделирование зданий, процедурная генерация, Работа с 3D-графикой
Эйвинд Фиксдаль (Øyvind Fiksdal) поделился подробностями процедурного процесса создания дома и ландшафта в Houdini и рассказал о преимуществах такого подхода.
Введение
Меня зовут Эйвинд Фиксдаль, я норвежский художник, раньше работавший в основном с традиционным исскуством. Ближе к тридцати годам я решил полностью сосредоточиться на 3D и поступил на двухлетние курсы 3D и анимации. Спустя какое-то время я устроился на работу в одно из крупнейших рекламных агентств в Норвегии.
Работа в рекламной отрасли открывала все двери, но работа на одну компанию не дала мне возможностей реализации, поэтому я стал фрилансером. Через два года фриланса мы с бывшим коллегой решили объединиться и создать компанию под названием Trollskog.
Читать полностью »
Жаркий, летний DataGrip 2018.2
2018-07-26 в 13:37, admin, рубрики: DataGrip, jetbrains, Microsoft SQL Server, mysql, oracle, postgres, postgresql, redshift, sql, sql server, Администрирование баз данных, базы данных, Блог компании JetBrainsПривет! Этот пост о том, что нового в DataGrip 2018.2. C этой версии поддержка баз данных есть в CLion и AppCode. В WebStorm её можно включить, если вы параллельно используете DataGrip.
— Лог всех запросов
— Новый форматер кода
— Запуск хранимых процедур
— Миграция исходников
— План запроса в виде диаграммы
— Редактирование SQL
— Редактор данных
— Улучшения в пользовательском интерфейсе
Читать полностью »
DataGrip 2017.2: Поддержка Redshift и Azure, несколько баз в PostgreSQL, контроль транзакций и другое
2017-08-03 в 11:52, admin, рубрики: Amazon Web Services, AWS, DataGrip, jetbrains, mysql, postgresql, redshift, sql, sql server, Блог компании JetBrainsПривет! Продолжаем серию постов о новых версиях IDE от JetBrains. Поговорим о том, что нового в DataGrip 2017.2.
— Поддержка Amazon Redshift и Microsoft Azure
— Несколько баз данных для одного источника PostgreSQL
— Контроль транзакций
— Вычисление выражений
— Разделены вкладки DDL и Data для таблиц
— Интеграция с инструментами восстановления для PostgreSQL и MySQL
— Улучшения, связанные с запуском запросов
— Улучшения, связанные с написанием кода
и другое…
Как мы построили облачную инфраструктуру обработки данных для кросс-продуктовой аналитики
2017-04-26 в 3:59, admin, рубрики: Amazon Web Services, big data, bigquery, data warehouse, mode, plotly, product analytics, redash, redshift, segment, stitch, Блог компании Skyeng, визуализация данных
Мы в Skyeng очень много внимания уделяем анализу данных. Он позволяет нам правильно планировать работу и распределять ресурсы между различными задачами. Сегодня разработчик аналитики Глеб Сологуб расскажет, как он собрал для нас инфраструктуру сбора и анализа данных по всему нашему зоопарку сервисов и приложений, уложившись в годовой бюджет 12 тыс долларов.