Знание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!
Статья не рассчитана на изучение тем с нуля, если вы еще не слышали ничего про attention, то лучше обратиться к полноценным лекциям.
Это чеклист и тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.
Содержание:
-
Архитектура трансформера
-
Механизм внимания
-
Позиционные эмбеддинги
-
Токенизация
-
Трансформерные архитектуры (BERT, GPT и тд)
-
Полезные материалы