Налоговая отдаёт данные ЕГРЮЛ по организации в виде PDF. Посредники за автоматический доступ по API хотят денег. На многих сайтах часть данных закрыто, часть функций недоступны бесплатно, и полно рекламы.
Рубрика «json» - 6
ЕГРЮЛ, доходы и расходы, налоги, количество сотрудников в XML и JSON бесплатно
2022-02-08 в 4:37, admin, рубрики: api, big data, json, XML, бесплатно, Блог компании ITSOFT, доходы и расходы, ЕГРЮЛ, Законодательство в IT, налоги, налоговая, открытые данные, среднесписочная численность, финансы в IT, фнсБорьба с TOAST или будущее JSONB в PostgreSQL
2022-01-23 в 21:26, admin, рубрики: high performance, highload, json, jsonb, postgres, postgresql, postgresql performance, toast, Администрирование баз данных, бенчмарки, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, исследования в it, хранилища данных
В PostgreSQL есть два типа данных: JSON и JSONB. Первый формат является текстовым хранилищем, в котором json хранится "as is", второй — бинарным, в нем ключи отсортированы (сначала по длине ключа, а потом по его названию), дубликаты удалены, а пробелы удалены. Этот SQL-запрос иллюстрирует различие между JSON и JSONB:
Язык конфигураций Dhall как еще один способ написания манифестов для Kubernetes
2021-12-10 в 6:31, admin, рубрики: devops, dhall, json, kubernetes, open source, yaml, Блог компании Флант, конфигурацииDhall — программируемый язык для создания конфигурационных файлов различного назначения. Это Open Source-проект, первый публичный релиз которого состоялся в 2018 году.
Как и всякий новый язык для генерации конфигурационных файлов, Dhall призван решить проблему ограниченной функциональности YAML, JSON, TOML, XML и других форматов конфигурации, но при этом оставаться достаточно простым. Язык распространяется всё шире. В 2020-м году представили его bindings, сделанные специально для Kubernetes.
Готовим Json в Apache NiFi или снова Jolt Transform
2021-10-24 в 13:33, admin, рубрики: apache nifi, big data, data engineering, jolt, json, NiFi
На текущем проекте у нас начинает активно использоваться Apache NiFi в качестве основного ETL/ELT-инструмента. NiFi используется для получения данных из различных источников (Kafka, REST, HDFS) и подготовки данных для их последующей загрузки в основное хранилище на базе GreenplumЧитать полностью »
Переносим философию Unix в 21 век
2021-08-29 в 14:00, admin, рубрики: ifconfig, json, ruvds_перевод, UNIX, Блог компании RUVDS.com, Настройка Linux, Серверное администрирование, системное администрирование
Один из основных принципов философии Unix заключается в создании таких программ, каждая из которых эффективно выполняет всего одну задачу, и связывании этих программ в конвейер. Подобный подход отлично зарекомендовал себя за десятилетия существования системы.
В статье же речь пойдет о том, чего ощутимо не хватает современным системам Linux с точки зрения этой философии, а также будет предложено решение связанных с этим проблем.Читать полностью »
PostgreSQL Antipatterns: «слишком много золота»
2021-08-17 в 9:10, admin, рубрики: explain.tensor.ru, json, lateral, postgresql, sql, Администрирование баз данных, Блог компании Тензор, высокая производительность, генерация кода, параметрыИногда мы пишем SQL-запросы, мало задумываясь над тем фактом, что сначала они должны быть по сети как-то доставлены до сервера, а затем их результат - обратно в клиентское приложение. Если при этом на пути до сервера присутствует еще и пулер соединений типа pgbouncer, дополнительно "перекладывающий" байты между входящими и исходящими коннектами, ситуация становится еще тяжелее...
Поэтому сегодня рассмотрим некоторые типичные ситуации, в которых разработчики иногда принимают не самые оптимальные решения, гоняя по сети мегабайты трафика при общении с сервером PostgreSQL - а заодно посмотрим, Читать полностью »
SQL HowTo: решаем головоломку «Небоскрёбы» почти без перебора
2021-04-20 в 10:15, admin, рубрики: grouping sets, json, lateral, postgresql, sql, sql tips and tricks, Блог компании Тензор, Занимательные задачки, небоскребы, ненормальное программирование, рекурсия
Многие знают правила этой головоломки (Skyscrapers):
Перед вами вид сверху на городской квартал. В каждой клетке стоит "небоскреб" высотой, равной числу в этой клетке. Числа с боков сетки означают количество "небоскребов", видимых из соответствующей строки или столбца, если смотреть от этого числа.
SQLite — не игрушка
2021-03-17 в 9:32, admin, рубрики: cte, fts5, json, REPL, sql, sqlite, with, ПрограммированиеРассказываю, почему SQLite отлично подойдет вам в повседневной работе. И неважно, разработчик вы, аналитик, тестировщик, админ или продакт-менеджер.
Для затравки несколько известных фактов:
-
SQLite — самая распространенная СУБД в мире, включена во все популярные ОС.
-
Работает без сервера.
-
Для разработчиков — встраивается прямо в приложение.
-
Для всех остальных — удобная консоль (REPL) одним файлом (sqlite3.exe на Windows, sqlite3 в Linux / macOS).
Консоль, импорт и экспорт
Освобождаем свои данные из корпоративного рабства. Концепция личного хранилища
2020-12-07 в 7:00, admin, рубрики: crdt, Datasette, Dogsheep, json, local-first software, open source, PDS, personal data services, personal data store, гит-скрапинг, информационная безопасность, локально-ориентированный софт, персональная аналитика, Софт
Автор программы Mathematica Стивен Вольфрам около 40 лет ведёт цифровой лог многих аспектов профессиональной и личной жизни
Сейчас практически всем стала понятна сущность некоторых интернет-корпораций, которые стремятся получить от людей как можно больше личных данных — и заработать на этом. Они предлагают бесплатный хостинг, бесплатные мессенджеры, бесплатную почту — лишь бы люди отдали свои файлы, фотографии, письма, личные сообщения. Наши данные приносят огромные деньги, а люди стали продуктом. Поэтому техногиганты Google и Facebook — самые крупные корпорации в истории человечества. Это неудивительно, ведь в их распоряжении миллиарды единиц бесплатного «сырья», то есть «пользователей» (кстати, этим словом users называют людей только в двух областях: наркоиндустрии и индустрии программного обеспечения).
Настало время положить этому конец. И вернуть данные под свой контроль. В этом суть концепции личных хранилищ данных (personal data services или personal data store, PDS).
Читать полностью »
jsqry — лучше, чем jq
2020-10-30 в 12:41, admin, рубрики: cli, ECMAScript, javascript, jq, json, node.js, nodejs, Query, quickjsВ своей прошлой статье на Хабре я писал про библиотеку Jsqry, которая предоставляет простой и удобный язык запросов (DSL) к объектам JSON. С тех пор прошло много времени и библиотека тоже получила свое развитие. Отдельный повод для гордости — библиотека имеет 98% покрытие кода тестами. Однако в этой статье речь не совсем о ней.
Думаю, многие из вас знакомы с инструментом jq, который является практически стандартом де-факто для работы с JSON в командной строке и скриптах. Я тоже являлся её активным пользователем. Но меня все время беспокоила неоправданная сложность и неинтуитивность синтаксиса запросов этой утилиты. И не меня одного, вот лишь несколько цитат с hacker news:
I have been using jq for years and still can't get it to work quite how I would expect it to.
I have the same issue with jq. I need to use my google fu to figure out how to do anything more than a simple select.
I don't know what the term would be, mental model, but I just can't get jq to click. Mostly because i only need it every once in a while. It's frustrating for me because it seems quite powerful.
I know I might be a dissenting opinion here, but I can never wrap my head around
jq. I can managejq .,jq .fooandjq -r, but beyond that, the DSL is just opaque to me.Let's just say it: jq is an amazing tool, but the DSL is just bad.
Yeah, I find jq similar to writing regexes: I always have to look up the syntax, only get it working after some confusion why my patterns aren't matching, then forget it all in a few days so have to relearn it again later.
Одним словом, вы уже наверное догадались. Пришла идея, а почему бы не обратить мою JS библиотеку в исполняемый файл для командной строки. Читать полностью »