Критика и предложения по статье IDs for AI Systems.

Уже в ближайшем будущем сеть будет наполнена ИИ агентами Читать полностью »
Критика и предложения по статье IDs for AI Systems.

Уже в ближайшем будущем сеть будет наполнена ИИ агентами Читать полностью »
Чтение книги The Technological Republic за авторством генерального директора компании Palantir Technologies Алекса Карпа сподвигло меня на следующие размышления.
Введение
Онлайн-тестирование стало важной частью современного образования и процесса найма сотрудников. Многие платформы и компании пытаются бороться с мошенничеством, внедряя технические ограничения — например, запрет на переключение вкладок в браузере. Но насколько это эффективно на практике? И что делать, если такие меры вызывают больше проблем, чем решают?
Идея проста: если пользователь сдает тест, он не должен отвлекаться на другие сайты и искать ответы. Поэтому разработчики:
отслеживают потерю фокуса окна (blur, visibilitychange),
Каждый из нас хоть раз получал странное письмо якобы от банка, соцсети или госслужбы с просьбой срочно перейти по ссылке, ввести данные или открыть вложение. Это фишинг – старый как мир, но все еще до обидного эффективный метод мошенничества. Он не ломает системы напрямую, он "ломает" нас – пользователей, играя на невнимательности, доверии или страхе. Последствия могут быть плачевными: от кражи паролей и денег до компрометации рабочих аккаунтов.
Снег.
Для детей это снеговик и снежки с родителями, для подростков — возможность позаигрывать с понравившейся девушкой, но для меня, инженера, который 15 лет занимается крышами, снег — это одна большая головная боль.
Главная проблема – снег нужно убирать и убирать вовремя, а если этого не сделать, то будет как-то так:
Во Всемирный день авиации и космонавтики не мешает напомнить и о других событиях, напрямую связанных с весьма серьезными опасностями, поджидающими людей в космосе, и о которых сейчас почти ничего не пишут таблоиды.
Ещё год назад я смеялся над мемами про Copilot, который "пишет весь код за тебя". Теперь - я уже не смеюсь. Потому что вижу, как всё чаще код влетает в main почти без участия человека. Его не пишут - его принимают. Почти как оракульское послание.
Это не всегда плохо. Но иногда - страшно.
Я не анти-ИИ и не неолуддит - я сам пользуюсь им в работе. Более того - я первый, кто радовался, когда Copilot или Claude помогали дописать скучные if-else, док-блоки и избавляли от гуглинга array_unique третий раз за неделю. Это круто. Это ускоряет. Это экономит силы. Но со временем, что-то начало меняться.
Сколько снега будет на крыше зимой? Этот вопрос важен для владельцев зданий, проектировщиков и строителей. Если снег не убирать, он может повредить крышу или привести к обрушению. Прошлой зимой в России произошло 26 таких случаев, а с частными домами аварий еще больше. Решение простое: убирать снег с крыши. Но как понять, когда это делать? Привычные методы часто неэффективны и зависят от людей. Мы в ТЕХНОНИКОЛЬ разработали новый способ.
Привет!
Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы обойти защитные механизмы и ограничения LLM.
Благодаря искусственному интеллекту, все больше энтузиастов запускают свои продукты без команды профессиональных разработчиков.
Так, например, совсем недавно вышла новость о 18-летних подростках, которые запустили приложение для подсчета калорий и заработали на нем миллионы долларов. Круто, правда?
Но давайте взглянем на ситуацию с другой стороны: какое качество у таких "быстрых" проектов и какие уязвимости они могут нести? Здесь я хочу разобрать реальный кейс - уязвимость в одном очень популярном ИИ-приложении, которая открыла мне доступ к корпоративному токену OpenAI.