Рубрика «переобучение»
Картель влиятельных датасетов в обучении ИИ
2025-03-25 в 9:01, admin, рубрики: llm, OpenAI, ruvds_статьи, sota, YouTube, датасеты, ИИ, наборы данных, обучение ИИ, переобучение, языковая модель
В последнее время такие компании, как OpenAI и Google, заключают эксклюзивные соглашения об обмене данными с издателями, крупными форумами вроде Reddit и социальными медиаплатформами, что становится для них ещё одним способом сконцентрировать власть.
Такая тенденция выгодна крупнейшим игрокам на рынке ИИ, которые могут позволить себе такие сделки, в отличие от исследователей, некоммерческих организаций и небольших компаний. Крупнейшие корпорации располагают лучшими ресурсами для сбора датасетов. В результате эталонные датасеты для бенчмарков (и для обучения) моделей ИИ всё больше концентрируются в руках малого количества корпораций и академических учреждений.
По мнению некоторых исследователей, это «новая волна асимметричного доступа», которой ещё не было в истории открытого интернета в таком масштабе.Читать полностью »
Слепой метод печати: стоит ли переучиваться?
2025-02-28 в 12:15, admin, рубрики: клавиатура, переобучение, продуктивность труда, слепая печать, слепой метод набораСлияние словарей в PyTorch: зачем нужно и подводные камни
2024-07-23 в 13:00, admin, рубрики: floating point, pytorch, ruvds_статьи, машинное обучение, переобучение, словари
Сейчас нейросети стали настолько большими, что обучение большой сети на 1 видеокарте технически невозможно или займёт десятки и сотни лет. Кроме того, на большой обучающей выборке всплывают проблемы забывания сетью того, чему её учили вначале.
Одним из способов решения этих проблем является разбивка датасета на куски, и обучение одной и той же нейросети параллельно на разных устройствах. Потом, очевидно, нужно каким-то образом слить обученные нейросети в одну. Обсудим в этой статье детальнее, зачем это вообще может быть нужно, и как это сделать более-менее правильно.
Читать полностью »
Нейросети и глубокое обучение, глава 3, ч.1: улучшение способа обучения нейросетей
2019-07-08 в 7:00, admin, рубрики: python, глубокое обучение, искусственный интеллект, нейросети, переобучение, Программирование, учебникКогда человек учится играть в гольф, большую часть времени он обычно проводит за постановкой базового удара. К другим ударам он подходит потом, постепенно, изучая те или иные хитрости, основываясь на базовом ударе и развивая его. Сходным образом мы пока что фокусировались на понимании алгоритма обратного распространения. Это наш «базовый удар», основа для обучения для большей части работы с нейросетями (НС). В этой главе я расскажу о наборе техник, которые можно использовать для улучшения нашей простейшей реализации обратного распространения, и улучшить способ обучения НС.
Среди техник, которым мы научимся в этой главе: лучший вариант на роль функции стоимости, а именно функция стоимости с перекрёстной энтропией; четыре т.н. метода регуляризации (регуляризации L1 и L2, исключение нейронов [dropout], искусственное расширение обучающих данных), улучшающих обобщаемость наших НС за пределы обучающих данных; лучший метод инициализации весов сети; набор эвристических методов, помогающих выбирать хорошие гиперпараметры для сети. Я также рассмотрю и несколько других техник, чуть более поверхностно. Эти обсуждения по большей части не зависят друг от друга, поэтому их можно по желанию перепрыгивать. Мы также реализуем множество технологий в рабочем коде и используем их для улучшения результатов, полученных для задачи классификации рукописных цифр, изученной в главе 1.
Читать полностью »
37 причин, почему ваша нейросеть не работает
2017-08-05 в 8:06, admin, рубрики: NaN, аугментация, машинное обучение, недообучение, нейросеть, нормализация, обработка изображений, отладка, ошибки нейросети, переобучение, регуляризацияСеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.
Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?
Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же проверки. Здесь я собрал в удобный список свой опыт вместе с лучшими идеями коллег. Надеюсь, этот список будет полезен и вам.
Читать полностью »
Как HBO делала приложение Not Hotdog для сериала «Кремниевая долина»
2017-06-27 в 10:53, admin, рубрики: alexnet, appstore, Cyclical Learning Rates, DX, Enet, Google Cloud Vision, ImageNet, inception, keras, react native, SqueezeNet, TensorFlow, UX, Xception, глубинное обучение, зловещая долина, Компьютерное зрение, машинное обучение, обработка изображений, переобучение, разработка мобильных приложений, Разработка под android, разработка под iOS, метки: Google Cloud Vision
Сериал HBO «Кремниевая долина» выпустил настоящее приложение ИИ, которое распознаёт хотдоги и не-хотдоги, как приложение в четвёртом эпизоде четвёртогого сезона (приложение сейчас доступно для Android, а также для iOS!)
Чтобы добиться этого, мы разработали специальную нейронную архитектуру, которая работает непосредственно на вашем телефоне, и обучили её с помощью TensorFlow, Keras и Nvidia GPU.
Читать полностью »
Распознавание образов
2017-04-01 в 7:50, admin, рубрики: машинное обучение, нейросеть, ненормальное программирование, переобучение, сегодня такой день
Сегодня в прошивке робота умного дома случился какой-то баг. Похоже, эта зараза забыла выйти из ночного цикла обучения и переобучила свою нейросеть распознавания образов. Собственно, это было сразу заметно по винтам, вставленным в макароны, как в дюбели. Только вчера мы вешали полку на кухне, и робот как раз искал в кладовке подходящие дюбели.Читать полностью »