Архив за 04 октября 2023
Проблемы современного программного обеспечения — невозможность отключения «ненужного функционала»
2023-10-04 в 17:30, admin, рубрики: Без рубрики
Версия статьи не от дилетанта, с более близкими для Хабра примерами… лежит здесь!
Минцифрова гора, суверенная мышь и 0,0037%-ное импортозамещение
2023-10-04 в 14:20, admin, рубрики: TLS, Восход, импортозамещение, Минцифры, национальный удостоверяющий центр, сертификаты x.509
Процесс обилечивания российских сайтов суверенными TLS-сертификатами идет в лучших традициях плановой экономики: бодрые рапорты с дутыми цифрами.
Читать полностью »
Извлечение текста из файлов PDF при помощи Python
2023-10-04 в 13:00, admin, рубрики: ocr, optical character recognition, PDF, pdf2image, pdfminer, pdfplumber, pillow, pytesseract, ruvds_перевод, распознавание текста
▍ Введение
В эпоху больших языковых моделей (Large Language Model, LLM) и постоянно расширяющейся сферы их применений непрерывно растёт и важность текстовых данных.
Существует множество типов документов, содержащих подобные виды неструктурированной информации, от веб-статей и постов в блогах до рукописных писем и стихов. Однако существенная часть этих данных хранится и передаётся в формате PDF. В частности, выяснилось, что за каждый год в Outlook открывают более двух миллиардов PDF, а в Google Drive и электронной почте ежедневно сохраняют 73 миллионов новых файлов PDF (2).
Поэтому разработка более систематического способа обработки этих документов и извлечения из них информации позволит нам автоматизировать процесс и лучше понять этот обширный объём текстовых данных. И в выполнении этой задачи, разумеется, нашим лучшим другом будет Python.
Читать полностью »
Испытания 5 отечественных автомобильных аккумуляторов в корпусе D23. Часть 1: лечим разбалансировку
2023-10-04 в 9:00, admin, рубрики: Без рубрики
Привет! Вы думали, что в новых аккумуляторных батареях не бывает разбалансировки? — Бывает, причем у большинства. И это не признак брака или подделки, а особенность технологии, которую необходимо учитывать.
Читать полностью »
Работаю я в бюрократизированной конторе с плохими процессами. Текучка тут достаточно большая. Люди приходят и уходят. Менеджмент на уровне дна. В какой-то момент в команду докинули нового разработчика (с неясными целями и задачами). Ну вроде парень умный, вроде что-то делает, вроде не просто так.
Случилось вот что: вышел большой отчёт про возможности GPT-4V. Внезапно оказалось, что LLM могут обращаться с картинками так же, как с текстовыми промптами, и никакой особой разницы нет. Что та фигня, что эта фигня, главное — научиться распознавать, дальше те же логические связки. Это давно ожидалось, потому что люди в основном смотрят, и большая часть информации приходит через глаза. Но мало кто ждал, что это так круто получится вот уже сейчас и с LLM.
Отчёт вот. Теперь давайте смотреть, а не читать.
Хорошие мультимодальные способности, чётко считывает указатели, хорошее общее понимание ситуации
Если вы пьяны, он пересчитает пиво и сверит с чеком:
Собственно, важное:
- Хорошо понимает что за сцена изображена и какие взаимосвязи между объектами на ней.
- Читает текст, ориентируется на местности, опознаёт конкретных людей
- Умеет в абстракции и обратно
- Отлично ищет то, чего не должно быть (отклонения от базовой идеи) — дефекты на деталях, дефекты в людях (в особенности на рентгене) и так далее.
- Плохо считает.
Давайте к деталям.
Читать полностью »
Неограниченный доступ к знаниям: библиотека Стандартных Шаблонных Конструкций
2023-10-04 в 6:25, admin, рубрики: AI, ipfs, llm, python, библиотеки, наука, научная работа, обход цензуры, свобода информацииЕсть много причин почему доступ научным статьям и книгам должен быть свободным:
-
Это прекрасно.
-
Знания меняют реальность в лучшую сторону. Вы хотите лечиться у врачей, которые в курсе последних достижений медицины? Летать на безопасных самолетах? Жить в стране, чье сельское хозяйство продуктивно и способно накормить голодные рты? Знать, как воспитывать следующее поколение так, чтобы не было мучительно больно смотреть новости?