Скорее всего все читатели Хабра слышали про chatGPT и знают как он работает. В этой статье, я повторю GPT и обучу на небольшом датасете, в основном пользуясь материалами из видео Andrej Karpathy. Спасибо за помощь в написании статьи и понимании того, что происходит команде из Школы Высшей Математики - у них одна из самых сильных команд по NLP и LLM с преподавателями из ВШЭ и ШАД.
Рубрика «nlp» - 10
Построим GPT: с нуля и шаг за шагом
2024-10-15 в 15:19, admin, рубрики: chatgpt, chatgpt-4, chatgpt3.5, chatgpt4, gpt, llm, nlpИИ без иллюзий. Развенчивание мифов
2024-10-13 в 6:20, admin, рубрики: apple, gpt, llm, nlp, OpenAI, генеративный ии, искусственный интеллект, машинное обучение, нейронные сети
В своем подкасте я грозился сам почитать статью GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models ученых из Apple и разобраться. Почитал. Разобрался. Забавная статья. Забавная не по содержанию, а по выводам, которые можно сделать, если читать между строк и выйти за границы статьи.
Сначала совсем прямой смысл.
Как за месяц научить нейросеть говорить на татарском: опыт MTS AI
2024-10-04 в 12:24, admin, рубрики: cotype, llm, ml, nlp, tatarOpenAI o1 — LLM, обученная выполнять сложные логические рассуждения
2024-10-01 в 11:34, admin, рубрики: data engineering, llama, llm, mlops, nlp, reinforcement learning, большие языковые модели, квантизация, машинное обучение, нейронные сетиOpenAI изменили направление развития своих языковых моделей, от просто генерации текста их последняя модель перешла к решению задач с использованием логики и пошагового анализа проблемы.
До сих пор LLM генерировали текст на основе данных, использованных в процессе обучения. Веса модели хранят представление о зависимостях между текстовыми токенами, полученное из исходного корпуса данных. Соответственно, модель просто генерирует наиболее вероятные токены "по памяти", но не выполняет с их помощью никакой по-настоящему интеллектуальной работы.
Вместо тысячи слов: как картинки помогают в текстовом Поиске?
2024-09-17 в 11:17, admin, рубрики: CLIP, computer vision, CV, nlp, Okko, обложки, онлайн кинотеатр, поиск, поисковые алгоритмы, фильмы
Всем привет! Меня зовут Дима. Я работаю в Поиске Okko и в этой статье хочу рассказать, насколько картиночные модели полезны для задачи Поиска и для чего мы используем их в наших пайплайнах.
Что такое Retrieval-Augmented Generation (RAG) в языковых моделях и как оно работает?
2024-09-06 в 14:33, admin, рубрики: AI, llm, nlp, rag, retrieval augmented generation, искусственный интеллектВ контексте разговоров о больших языковых моделях (LLM) все чаще возникает аббревиатура RAG – Retrieval-Augmented Generation, или если переводить на русский язык, то «поисковая дополненная генерация». В этом тексте попробуем в общих чертах разобраться, как работает RAG, и где он может быть применим на практических задачах.
Дисклеймер: это вольный перевод поста с портала Medium, который написал Сахин Ахмед. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на Читать полностью »
Топ-7 высокооплачиваемых профессий в сфере ИИ
2024-08-29 в 11:31, admin, рубрики: nlp, python, архитектор, большая зарплата, высокооплачиваемая работа, ИИ, Компьютерное зрение, машинное обучение, нейросети, промпт-инженерО том, как появление нейросетей влияет на рынок труда, говорят все. Потому что не говорить об этом невозможно. По мнению экспертов (и не только их), некоторые профессии скоро отправятся на свалку истории, а другие станут невероятно востребованными. Давайте разберёмся, что ждёт работодателей и соискателей в ближайшем будущем и каким специалистам в сфере ИИ, или AI, готовы платить больше всего.
Что в прошлом
Гайд по работе языковых моделей для начинающих
2024-08-20 в 15:32, admin, рубрики: BERT, gpt, llm, nlp, nlp (natural language processing), pytorch, TensorFlow, обработка естественного языка, языковая модель, языковые моделиДля того, чтобы распознавать естественную человеческую речь, используют специальные модели — языковые. Они умеют воспринимать содержание текста, продолжать предложения и вести осмысленный диалог.
Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать.
Что можно узнать из текста в телеграмм-канале?
2024-08-19 в 18:16, admin, рубрики: nlp, анализ данных, анализ данных python, данные, кластер, машинное обучение, текст, тематическое моделирование, эмбеддингиПривет!
Два года назад я создал телеграмм-канал и начал постить туда всякое, что считал интересным. Изначально это было что-то вроде публичного дневника с регулярными и короткими заметками из моей студенческой жизни. После, я попробовал превратить этот канал в блог о современном искусстве, ну а пару месяцев назад понял, что не могу жить без любимой айтишечки и начал постить в канал новости из мира Data Science и ИИ.
Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF
2024-08-17 в 12:15, admin, рубрики: AI, deeplearning, jupyter notebook, machinelearning, math, nlp, numpy, pandas, python, tfidfvectorizerКак модели видят наш текст?
Когда начинаешь погружаться в сферу NLP, сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно(как проводить операции со словами?).
Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF.
Как работает TF-IDF?
TF-IDF(Term Frequency-Inverse Document Frequency) — это метод, который преобразует слова в числовые векторы, что делает их более понятными для моделей машинного обучения.