- PVSM.RU - https://www.pvsm.ru -

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 1

Ян Лекун, один из крёстных отцов современного ИИ, в своём твиттере резко критикует [1] корпоративных исследователей ИИ, которые ведут проприетарные разработки и занимаются «нагнетанием страха». Среди этих людей называются Сэм Альтман (OpenAI), Демис Хассабис (Google DeepMind) и Дарио Амодеи (Anthropic)

Ян Лекун [2] (Yann LeCun) — французский и американский учёный в области машинного обучения и компьютерного зрения. Известен как автор легендарной системы LeNet [3] (1989 г.), где одним из первых начал применять методы биологических нейронных сетей для оптического распознавания символов (OCR).

Сейчас занимает должность вице-президента и ведущего исследователя ИИ в корпорации Meta (руководит разработкой опенсорсной языковой модели LLaMA [4], в том числе). При этом остаётся ярым приверженцем опенсорса, свободной науки и научно-технического прогресса человечества.

Ян Лекун родился в пригороде Парижа, получил диплом по специальности «Электротехника и электроника» в инженерной школе ESIEE Paris (1978−1983), а затем докторскую степень по информатике в Университете Пьера и Марии Кюри, сейчас это университет Сорбонна (1983−1987 гг).

Именно в 1987 году перед получением докторской степени он предложил раннюю форму алгоритма с обратным распространением ошибки [5] (backpropagation) для нейросетей.

Затем в 1987−1988 гг. занимался исследованиями машинного обучения как постдок под руководством Джеффри Хинтона в университете Торонто (как и Илья Суцкевер, об этом ниже).

Потом начал длительную и успешную карьеру в американских компаниях.

▍ Распознавание символов. Первые системы машинного зрения на основе нейросетей

После получения докторской степени в 1988 году Ян Лекун начал работать в AT&T Bell Laboratories в городке Холмдел, Нью-Джерси, где разработал серию методов машинного обучения, в том числе свёрточные нейронные сети.

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 2

Группа Лекуна в AT&T Bell Laboratories, 2002 год [6]

Первой разработкой стала архитектура нейросети, которая распознаёт рукописные цифры почтового индекса с очень низким процентом ложных срабатываний. Система описана в научных статьях 1988-го [7] и 1989-го [8] гг.

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 3

Рукописные примеры почтовых индексов и нормализованные цифры из тестового набора данных. Позже был разработан эталонный набор MNIST [9] для обучения нейросетей

Архитектура нейросети из научной статьи «Применение метода обратного распространения ошибки для распознавания рукописных почтовых индексов» [8] 1989 года:

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 4

Извлечение признаков (фич) из оцифрованных рукописных символов по описанию в научной статье «Система распознавания рукописных цифр почтового индекса» [10] 1988 года:

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 5

▍ LeNet

Кроме метода обратного распространения ошибки для этой и других OCR-систем, Ян Лекун разработал и применил несколько инновационных методов машинного обучения:

Всё это использовалось в инновационных системах оптического распознавания символов (OCR) на банковских чеках, почтовых письмах и т. д. Впоследствии универсальная нейросеть Лекуна с коллегами получила название LeNet [3], под таким названием в дальнейшем она и упоминается в научной литературе. Так оно и вошло в историю.

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 6
Примеры необычных, искажённых и зашумлённых символов, которые корректно распознала LeNet-5, источник: научная статья Лекуна [13] 1998 года

Архитектура LeNet-5 из статьи «Обучение на основе градиента для распознавания документов» [13] 1998 года:

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 7

Уровень ошибок на тестовом наборе данных для различных методов классификации (максимальная погрешность около 0,1%), оттуда же [13]:

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 8

Таким образом, начиная с LeNet для оптического распознавания символов начали использоваться искусственные нейросети, созданные по образцу биологических систем, которые работают в нервной системе животных на Земле (поскольку все живые организмы ведут происхождение из одного источника, то механизм работы нейронных сетей у всех практически одинаковый).

Так зарождалось машинное зрение нового типа.

Это и есть главный вклад Лекуна в современную индустрию ИИ, которая к 2025 году всколыхнула всё человечество.

▍ Формат DjVu

В 1996 году Ян Лекун перешёл на работу в AT&T Labs-Research и занялся преимущественно разработкой технологии сжатия изображений и открытого формата DjVu [15]. Оптическое распознавание символов и сжатие изображений — естественное продолжение работы эксперта по машинному зрению.

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 9 DjVu является конкурентом PDF как контейнер для отсканированных документов. При этом DjVu превосходит PDF по степени сжатия [16]. Согласно научной статье [17] с описанием формата, страницы цветных журналов сжимаются до 40−70 КБ, чёрно-белые технические документы — до 15−40 КБ, а древние рукописи — примерно до 100 КБ, удовлетворительное изображение JPEG обычно требует 500 КБ.

DjVu разделяет исходное изображение на три слоя:

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 10

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 11

  1. Передний план. Цветовая информация о маске (3-й слой), разрешение максимально понижается.
  2. Задний план. Иллюстрации и текстура страницы: их разрешение по умолчанию понижается для экономии места.
  3. Чёрно-белая (однобитовая) маска. Маска сохраняется с разрешением исходного файла, она содержит изображение текста и прочие чёткие детали.

Задний и передний планы сжимаются с помощью вейвлет-преобразования [18] (как в JPEG2000), а маска — алгоритмом JB2. Для своего времени это были уникальные передовые технологии сжатия.

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 12

Дискретное вейвлет-преобразование в JPEG2000, источник [19]

DjVu оптимизирован для передачи по сети таким образом, что страницу можно просматривать ещё до завершения загрузки файла.

Как и PDF, файл DjVu содержит текстовый (OCR), позволяя осуществлять полнотекстовый поиск по файлу. Файл может содержать интерактивное оглавление и активные области — ссылки, что позволяет реализовать удобную навигацию в книгах.

До стандартизации PDF в 2008 году DjVu считался наиболее подходящим открытым форматом для хранения электронных документов. В те времена не было даже программы для просмотра PDF под Linux, то был закрытый проприетарный формат. Сообщество склонялось к мнению принять DjVu единым стандартом для цифровых документов.

Некоторые организации до сих пор используют DjVu для хранения и распространения отсканированных документов, как Архив Интернета [20] (хотя в 2016 году сканирование новых документов в DjVu прекращено [21]).

▍ Другие проекты

В 2002 году вместе с Леоном Боту [22] разработал язык программирования Lush [23] (Lisp Universal Shell), это Lisp-подобный язык для машинного обучения, прямой наследник языка SN, написанного в 1987 году в качестве фронтенда для симулятора нейросети. Авторы Lush те же, что у DjVu. Насколько можно понять, Lush лишён известных недостатков Python [24].

За последние десятилетия Лекун стал сооснователем, советником или исследователем в ряде новых компаний и стартапов, в некоторых участвует до сих пор:

  • сооснователь и советник компании Element [25] (2012 — наст. время), которая разрабатывает технологии и софт для биометрической аутентификации,
  • сооснователь компании MuseAmi [26] (2007 — 2016 гг): разработка инновационных программных и аппаратных технологий для музыкального продакшна, образования и развлечений, включая мобильные приложения Improvox, Hook'd и MusicPal,
  • владелец YLC Consulting LLC (2008 — 2013): исследования, разработки и технологический консалтинг в области ПО, машинного обучения, машинного зрения, робототехники, дата-майнинга, моделирования данных, статистического анализа, OCR, сжатия данных, музыкальных технологий и др.

▍ Дальнейшая карьера

После Bell Labs и AT&T Labs в 2003 году исследователь занял должность профессора компьютерных наук и нейронаук Курантовского института математических наук в Нью-Йоркском университете (NYU). Также является профессором Инженерной школа Тандона NYU.

В 2012 году основал университетский Центр науки о данных [27] с первой в мире программой высшего образования по data science (сейчас такие много где есть, даже у «Яндекса»).

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 13
Ян Лекун в университете Миннесоты, октябрь 2014 года [28]

С 2013 года возглавил лабораторию ИИ в Facebook*, сейчас занимает должность вице-президента и ведущего исследователя ИИ в Meta (VP & Chief AI Scientist).

На самом деле эта соцсеть одной из первых начала использовать машинное обучение в прикладных разработках. Как Лекун говорил в анонсе Moments [29] от 2015 года, это мобильное приложение распознаёт людей на фотографиях и упорядочивает фотоальбом в смартфоне. Такая же технология реализована на сайте социальной сети. Она частично основана на работе, проведённой командой Facebook* AI Research (FAIR), которую тогда возглавлял Ян Лекун.

В последующие годы важность машинного обучения стала очевидна более широкому кругу людей, а к 2025 году — почти всем. Как известно, ИИ уже прошёл строгий тест Тьюринга [30] и обогнал людей в выполнении большого количества прикладных задач.

Ян Лекун является лауреатом многочисленных премий и обладателем почётных званий, в том числе премии Тьюринга 2018 года [31] совместно с Йошуа Бенжио [32] и Джеффри Хинтоном [33] как «отцы революции глубокого обучения».

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 14
Слева направо: Ян Лекун, Джеффри Хинтон и Йошуа Бенжио

Напомним, что Хинтон в университете был научным руководителем Ильи Суцкевера [34], ведущего разработчика всех моделей GPT в компании OpenAI, который сейчас работает над сверхмощным ИИ. Сеть AlexNet от Суцкевера была конкурентом LeNet в бенчмарках.

Джеффри Хинтон и Джон Хопфилд [35] получили ещё и Нобелевскую премию по физике 2024 года [36] «за основополагающие открытия, которые привели к созданию машинного обучения и искусственных нейросетей».

Так что круг выдающихся учёных в области ИИ хорошо известен и ограничен. Впрочем, как и в любой другой области. И рано говорить, например, что Google DeepMind всех победил и у конкурентов нет шансов [37]. В других компаниях тоже работают гениальные умы, как Ян Лекун, а ресурсы IT-корпораций практически не ограничены, так что исход этой гонки никак не определён.

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 15

Несмотря на трудоустройство в коммерческой корпорации, Ян Лекун остаётся последовательным приверженцем Open Source [38], старается публиковать в открытом доступе результаты исследований, которые ведёт его научная группа в Meta, выступает с лекциями (например, одна из последних — «Математические препятствия на пути к ИИ человеческого уровня» [39] на математической конференции). То есть он в первую очередь учёный и исследователь, а уже затем сотрудник корпоративной машины. Стал вирусным его недавний пост [40], где он приводит DeepSeek и другие китайские LLM в пример того успеха, которого добился опенсорс:

Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса - 16

Это необычная точка зрения, которая идёт наперекор настроениям общей неприязни к Китаю. На самом деле стоит гордиться тем, что они сделали — это наше общее достижение.

*Владеющая Facebook Meta запрещена в России как экстремистская.


Выдающиеся программисты 21 века. Предыдущие статьи

© 2025 ООО «МТ ФИНАНС»

Автор: alizar

Источник [67]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/pdf/418996

Ссылки в тексте:

[1] резко критикует: https://x.com/ylecun/status/1718670073391378694?s=20

[2] Ян Лекун: http://yann.lecun.com/

[3] LeNet: https://en.wikipedia.org/wiki/LeNet

[4] LLaMA: https://www.llama.com/

[5] обратным распространением ошибки: https://en.wikipedia.org/wiki/Backpropagation

[6] 2002 год: http://yann.lecun.com/ex/ex/group/index.html

[7] 1988-го: https://proceedings.neurips.cc/paper/1988/hash/a97da629b098b75c294dffdc3e463904-Abstract.html

[8] 1989-го: https://web.archive.org/web/20100612150820/http://www.ics.uci.edu/~welling/teaching/273ASpring09/lecun-89e.pdf

[9] MNIST: https://github.com/mbornet-hl/MNIST/tree/master

[10] «Система распознавания рукописных цифр почтового индекса»: https://proceedings.neurips.cc/paper_files/paper/1988/file/a97da629b098b75c294dffdc3e463904-Paper.pdf

[11] свёрточные нейросети: https://en.wikipedia.org/wiki/Convolutional_neural_network

[12] «Оптимальное повреждение мозга»: https://proceedings.neurips.cc/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf

[13] Graph Transformer Networks: http://www.dengfanxin.cn/wp-content/uploads/2016/03/1998Lecun.pdf

[14] условные случайные поля (CRF): https://en.wikipedia.org/wiki/Conditional_random_field

[15] DjVu: http://djvu.org/

[16] DjVu превосходит PDF по степени сжатия: https://web.archive.org/web/20190121142932/http://www.djvu.org/resources/whatisdjvu.php

[17] научной статье: https://leon.bottou.org/publications/pdf/jei-1998.pdf

[18] вейвлет-преобразования: https://en.wikipedia.org/wiki/Discrete_wavelet_transform

[19] источник: https://en.wikipedia.org/wiki/File:Jpeg2000_2-level_wavelet_transform-lichtenstein.png

[20] Архив Интернета: http://archive.org/

[21] прекращено: https://archive.org/post/1053214/djvu-files-for-new-uploads

[22] Леоном Боту: http://leon.bottou.org/

[23] Lush: https://lush.sourceforge.net/

[24] известных недостатков Python: https://x.com/ylecun/status/1628386056641847296

[25] Element: https://www.elementresearch.com/

[26] MuseAmi: https://web.archive.org/web/20130212143810/http://www.museami.com/

[27] Центр науки о данных: https://cds.nyu.edu/

[28] октябрь 2014 года: https://upload.wikimedia.org/wikipedia/commons/8/84/Yann_LeCun_at_the_University_of_Minnesota.jpg

[29] анонсе Moments: https://www.youtube.com/watch?v=9T45bs9di_U

[30] прошёл строгий тест Тьюринга: https://habr.com/ru/news/896938/

[31] премии Тьюринга 2018 года: https://www.acm.org/media-center/2019/march/turing-award-2018

[32] Йошуа Бенжио: https://yoshuabengio.org/

[33] Джеффри Хинтоном: https://www.cs.toronto.edu/~hinton/

[34] был научным руководителем Ильи Суцкевера: https://habr.com/ru/companies/ruvds/articles/892646/

[35] Джон Хопфилд: https://en.wikipedia.org/wiki/John_Hopfield

[36] Нобелевскую премию по физике 2024 года: https://www.nobelprize.org/prizes/physics/2024/summary/

[37] Google DeepMind всех победил и у конкурентов нет шансов: https://www.thealgorithmicbridge.com/p/google-is-winning-on-every-ai-front

[38] остаётся последовательным приверженцем Open Source: https://www.forbes.com/sites/luisromero/2025/01/27/chatgpt-deepseek-or-llama-metas-lecun-says-open-source-is-the-key/

[39] «Математические препятствия на пути к ИИ человеческого уровня»: https://news.ycombinator.com/item?id=43768791

[40] пост: https://www.linkedin.com/posts/yann-lecun_to-people-who-see-the-performance-of-deepseek-activity-7288591087751884800-I3sN

[41] Джастин Танни: https://habr.com/ru/company/ruvds/blog/682150/

[42] Джей Фриман (saurik): https://habr.com/ru/company/ruvds/blog/688716/

[43] Михал Залевски: https://habr.com/ru/company/ruvds/blog/695386/

[44] 1: https://habr.com/ru/company/ruvds/blog/701556/

[45] 2: https://habr.com/ru/company/ruvds/blog/721150/

[46] Марк Руссинович: https://habr.com/ru/company/ruvds/blog/710268/

[47] Юрки Алакуйяла: https://habr.com/ru/company/ruvds/blog/713648/

[48] Андрей Карпаты: https://habr.com/ru/companies/ruvds/articles/728056/

[49] Даниэль Стенберг, автор curl: https://habr.com/ru/companies/ruvds/articles/733002/

[50] Колин Персиваль, автор tarsnap: https://habr.com/ru/companies/ruvds/articles/739392/

[51] Джефф Дин: https://habr.com/ru/companies/ruvds/articles/752206/

[52] antirez, автор СУБД Redis: https://habr.com/ru/companies/ruvds/articles/758112/

[53] Оскар Толедо: потомственный волшебник: https://habr.com/ru/companies/ruvds/articles/765074/

[54] Ральф Меркл: криптограф, крионик и теоретик молекулярной инженерии: https://habr.com/ru/companies/ruvds/articles/770556/

[55] Чем сейчас занимается Фабрис Беллар: https://habr.com/ru/companies/ruvds/articles/781922/

[56] Мигель де Икаса и его мечта — Linux на десктопах: https://habr.com/ru/companies/ruvds/articles/787860/

[57] Давид Хейнемейер Ханссон (DHH): автор Ruby on Rails: https://habr.com/ru/companies/ruvds/articles/795275/

[58] Карсон Гросс, создатель HTMX: https://habr.com/ru/companies/ruvds/articles/814193/

[59] Клеман Лефевр, создатель Linux Mint: https://habr.com/ru/companies/ruvds/articles/817327/

[60] Андреас Клинг, его операционная система SerenityOS и браузер Ladybird: https://habr.com/ru/companies/ruvds/articles/823778/

[61] Джеффри Сновер и создание PowerShell: https://habr.com/ru/companies/ruvds/articles/832744/

[62] Реймонд Хилл и его блокировщик uBlock Origin: https://habr.com/ru/companies/ruvds/articles/845576/

[63] Ричард Столлман, автор GCC и Emacs: https://habr.com/ru/companies/ruvds/articles/857666/

[64] Дрю ДеВолт — автор языка Hare и платформы кодохостинга SourceHut: https://habr.com/ru/companies/ruvds/articles/863866/

[65] Хакерские утилиты Дидье Стивенса: https://habr.com/ru/companies/ruvds/articles/869680/

[66] Линус Торвальдс: https://habr.com/ru/companies/ruvds/articles/878076/

[67] Источник: https://habr.com/ru/companies/ruvds/articles/903640/?utm_source=habrahabr&utm_medium=rss&utm_campaign=903640