Выходит первый Python 3.11. Что нового?

Делимся переводом документации альфы Python 3.11, которая выходит 4 октября, о разнице в сравнении с версией 3.10. Изменения касаются трассировки исключений, модулей math, sqlite, threading, unittest и других. Удалена ощутимая часть устаревшей функциональности.

Подробности читайте под катом, пока у нас начинается курс по Fullstack-разработке на Python ^[1].

---

Полный список ^[2] изменений.

Пользователи предварительной версии должны знать, что этот документ в настоящее время находится в черновом варианте. Он будет существенно обновляться по мере продвижения Python 3.11 к релизу, поэтому стоит вернуться к нему даже после ознакомления с предыдущими версиями.

Краткое изложение – основные моменты выпуска

Новые возможности

Ошибки в трассировке теперь указываются точнее

При печати трассировки интерпретатор теперь точно указывает на выражение, которое привело к ошибке, а не на строку:

Traceback (most recent call last):
  File "distance.py", line 11, in <module>
    print(manhattan_distance(p1, p2))
          ^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "distance.py", line 6, in manhattan_distance
    return abs(point_1.x - point_2.x) + abs(point_1.y - point_2.y)
                           ^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'x'

Предыдущие версии интерпретатора указывали только на строку, не разъясняя, какой объект оказался None. Эти расширенные ошибки также могут быть полезны при работе с глубоко вложенными объектами словаря и множественными вызовами функций,

Traceback (most recent call last):
  File "query.py", line 37, in <module>
    magic_arithmetic('foo')
    ^^^^^^^^^^^^^^^^^^^^^^^
  File "query.py", line 18, in magic_arithmetic
    return add_counts(x) / 25
           ^^^^^^^^^^^^^
  File "query.py", line 24, in add_counts
    return 25 + query_user(user1) + query_user(user2)
                ^^^^^^^^^^^^^^^^^
  File "query.py", line 32, in query_user
    return 1 + query_count(db, response['a']['b']['c']['user'], retry=True)
                               ~~~~~~~~~~~~~~~~~~^^^^^
TypeError: 'NoneType' object is not subscriptable

а также сложными арифметическими выражениями:

Traceback (most recent call last):
  File "calculation.py", line 54, in <module>
    result = (x / y / z) * (a / b / c)
              ~~~~~~^~~
ZeroDivisionError: division by zero

Подробности в PEP 657 ^[3], это вклад Пабло Галиндо, Батухана Таскайи и Аммара Аскара в bpo-43950 ^[4].

Эта возможность требует хранения позиций столбцов в объектах кода, что может привести к небольшому увеличению использования дискового пространства скомпилированными файлами Python или использования памяти интерпретатора.

Чтобы избежать хранения дополнительной информации и/или отключить печать дополнительной информации об отладке, можно использовать флаг запуска из командной строки -X ^[5] no_debug_ranges или переменную окружения PYTHONNODEBUGRANGES ^[6].

Информация о столбцах для объектов кода.

Информация, используемая расширенной функцией трассировки, доступна в виде общего API, который можно задействовать для сопоставления инструкций байт-кода и исходного кода. Эту информацию можно получить с помощью:

• метода Python codeobject.co_positions() ^[7];

• функции PyCode_Addr2Location() ^[8] из C API.

Опция -X ^[5] no_debug_ranges и переменная среды PYTHONNODEBUGRANGES могут использоваться для отключения этой функции. Подробности — в PEP 657 ^[3], это вклад Пабло Галиндо, Батухана Таскайи и Аммара Аскара в bpo-43950 ^[4].

Другие изменения в языке

• Асинхронные охваты (comprehension) теперь разрешены внутри охватов в асинхронных функциях. Внешний охват неявно становится асинхронным (автор: Сергей Сторчака в bpo-33346 ^[9]).

• TypeError ^[10] поднимается вместо AttributeError ^[11] в contextlib.ExitStack.enter_context() ^[12] и contextlib.AsyncExitStack.enter_async_context() ^[13] для объектов без поддержки протоколов контекстного менеджера ^[14] или асинхронного контекстного менеджера ^[15] соответственно (вклад Сергея Сторчака в bpo-44471 ^[16]).

• TypeError ^[10] поднимается вместо AttributeError ^[11] в with ^[17] и async with ^[18] для объектов без поддержки протоколов контекстного менеджера ^[14] или асинхронного контекстного менеджера ^[15] соответственно (вклад Сергея Сторчака в bpo-44471 ^[19]).

Другие изменения реализации CPython

• Специальные методы complex.__complex__() и bytes.__bytes__() реализованы для поддержки протоколов typing.SupportsComplex ^[20] и typing.SupportsBytes ^[21] (вклад Марка Дикинсона и Дон-Хи На в bpo-24234 ^[22]).

Новые модули

• Их ещё нет.

Улучшенные модули

fractions

Поддержка инициализации дроби из строки в стиле PEP 515 (вклад Сергея Б. Кирпичёва в bpo-44258 ^[23]).

math

• Добавлена функция math.cbrt() ^[24], она возвращает кубический корень из x. (Вклад Аджита Рамачандрана в bpo-44357 ^[25].

• Поведение двух крайних случаев math.pow() ^[26] было изменено для обеспечения согласованности со спецификацией IEEE 754. Операции math.pow(0.0, -math.inf) и math.pow(-0.0, -math.inf) теперь возвращают inf. Ранее они поднимали ValueError ^[27] (вклад Марка Дикинсона в bpo-44339 ^[28]).

operator

• Добавлена функция operator.call, такая, что operator.call(obj, *args, **kwargs) == obj(*args, **kwargs) (вклад Энтони Ли в bpo-44019 ^[29]).

os

• На Windows os.urandom() ^[30] в Python 3.11 использует BcryptGenRandom().

sqlite3

• Теперь вы можете отключить авторизер (authorizer), передав параметр None в set_authorizer() (предоставлено Эрлендом Аасландом в bpo-44491 ^[31]).

• Имя параметра сортировки create_collation() ^[32] теперь может содержать любой символ Юникода. Имена параметров сортировки с недопустимыми символами теперь вызывают UnicodeEncodeError ^[33] вместо sqlite3.ProgrammingError ^[34] (вклад Эрленда Аасланда в bpo-44688 ^[35]).

• Исключения sqlite3 ^[36] сейчас содержат код ошибки SQLite как sqlite_errorcode ^[37] и название ошибки как sqlite_errorcode ^[38] (вклад Авива Паливоды, Даниэля Шахафа и Эрленда Аасланда в bpo-16379 ^[39]).

threading

• В Unix, если функция sem_clockwait() доступна в библиотеке C (glibc 2.30 и выше), то threading.Lock.acquire() ^[40] использует монотонные часы (time.CLOCK_MONOTONIС ^[41]) для тайм-аута, а не системные часы (time.CLOCK_REALTIME ^[42]), чтобы не зависеть от изменений последних. (Вклад Виктора Стиннера и Ливиуса в bpo-41710 ^[43]).

time

• В Unix, time.sleep() ^[44] теперь использует clock_nanosleep() или nanosleep(), если таковая имеется, она имеет разрешение в 1 наносекунду (10 секунды), а не с помощью select() с разрешением 1 мкс (106 секунды). (Вклад Виктора Стиннера и Ливиуса в  bpo-21302 ^[45]).

• В Windows time.sleep() ^[44] теперь использует ожидающий таймер, который имеет разрешение 100 наносекунд (10^-7 секунды). Ранее его разрешение составляло 1 миллисекунду (10^-3 секунды) (вклад Ливиуса и Виктора Стиннера в bpo-21302 ^[45]).

unicodedata

• База данных Unicode обновлена до версии 14.0.0 (bpo-45190 ^[46]).

Оптимизации

• Компилятор теперь оптимизирует простое форматирование в стиле C с литеральным форматом, содержащим только коды формата %s, %r и %a, и делает его таким же быстрым, как соответствующее выражение f-строки. (Предоставлено Сергеем Сторчака в bpo-28307 ^[47]).

• Реализованы исключения «с нулевыми накладными расходами». Затраты на операторы try практически исключены, когда исключение не возникает (вклад Марка Шеннона в bpo-40222 ^[48]).

• Вызовы методов с ключевыми словами теперь выполняются быстрее благодаря изменениям в байт-коде, которые позволяют избежать создания связанных экземпляров методов. Ранее эта оптимизация применялась только к вызовам методов с чисто позиционными аргументами (вклад Кена Джина и Марка Шеннона в bpo-26110 ^[49], основанный на идеях, реализованных в PyPy).

• Чистые ASCII-строки теперь нормализуются за константное время с помощью unicodedata.normalize() ^[50] (внесено Дон-Хи На в bpo-44987 ^[51]).

Изменения в байт-коде CPython

• Добавлен новый опкод CALL_METHOD_KW ^[52]. Вызывает метод в той же манере, что и CALL_METHOD ^[53], но также поддерживает аргументы в виде ключевых слов. Работает в тандеме с LOAD_METHOD ^[54].

Устаревшее

• lib2to3 ^[55] устарел и может не работать с Python 3.10 или новее. См. PEP 617 ^[56] (новый PEG-парсер CPython) (внесено Виктором Стиннером в bpo-40360 ^[57]).

• webbrowser.MacOSX устарел и будет удалён в Python 3.13. Он не протестирован и не документирован, а также не используется самим веб-браузером. (Вклад Дон-Хи На в bpo-42255 ^[58]).

• Поведение возврата значения из методов тестирования TestCase ^[59] и IsolatedAsyncioTestCase ^[60] (отличного от значения None по умолчанию) устарело.

• Устарели следующие функции unittest ^[61], они будут удалены в Python 3.13:

• unittest.findTestCases();

• unittest.makeSuite();

• unittest.getTestCaseNames().

  Вместо них используйте методы TestLoader ^[62]:

• unittest.TestLoader.loadTestsFromModule() ^[63];

• unittest.TestLoader.loadTestsFromTestCase() ^[64];

• unittest.TestLoader.getTestCaseNames() ^[65].

(Внесено Эрландом Аасландом в bpo-5846 ^[66]).

Удалённое

• SMTPD.MailmanProxy удалён: он не используется без внешнего модуля mailman. (Вклад Дон-Хи На в bpo-35800 ^[67]).

• Устаревший в Python 3.9 модуль Binhex удалён. Функции BinAscii ^[68], устаревшие в этой же версии, также удалены:

• a2b_hqx(), b2a_hqx();

• rlecode_hqx(), rledecode_hqx().

• Функция binAscii.crc_hqx() ^[69] доступна.

  (Внесено Виктором Стиннером в bpo-45085 ^[70]).

• Команда distutils bdist_msi, устаревшая в Python 3.9, удалена, вместо неё используйте bdist_wheel — пакеты wheel (вклад Хьюго ван Кеменаде в bpo-45124 ^[71]).

• В связи с серьёзными проблемами безопасности параметр reuse_address asyncio.loop.create_datagram_endpoint() ^[72], отключённый в Python 3.9, теперь полностью удалён. Это связано с поведением опции сокета SO_REUSEADDR в UDP (вклад Хьюго ван Кеменаде в bpo-45129 ^[73]).

• Удалены методы __getitem__() в xml.dom.pulldom.DOMEventStream ^[74], wsgiref.util.FileWrapper ^[75] и fileinput.FileInput ^[76], устаревшие в Python 3.9. (вклад Хьюго ван Кеменаде в bpo-45132 ^[77]).

• Удалено много устаревших функций unittest ^[61]:

• Псевдонимы методов TestCase ^[59] failUnlessEqual, failIfEqual, failUnless, failIf, failUnlessRaises, failUnlessAlmostEqual, failIfAlmostEqual (устаревшие в Python 3.1), assertEquals, assertNotEquals, assert_, assertAlmostEquals, assertNotAlmostEquals, assertRegexpMatches, assertRaisesRegexp (устаревшие в Python 3.2) и assertNotRegexpMatches (устаревший в Python 3.5).

• Недокументированный и сломанный метод Testcase ^[59] assertdictcontainssset (устарел в Python 3.2).

• Недокументированный параметр <unittest.TestLoader.loadTestsFromModule> TestLoader.loadTestsFromModule() use_load_tests (устарел и игнорируется с версии 3.2).

• Псевдоним класса TextTestResult ^[78]: _TextTestResult (устарел в Python 3.2).

  (вклад Сергея Сторчака в bpo-45162 ^[79]).

• Следующие устаревшие функции и методы удалены в модуле gettext: lgettext(), ldgettext(), lngettext() и ldngettext().

Функция bind_textdomain_codeset(), методы outduct_charset() и set_output_charset(), а также параметр сodeset функций translate() ^[80] и install() ^[81] также удаляются, поскольку они используются только для l*getText() (вклад Сергея Сторчака в bpo-44235 ^[82]).

• Из модуля configparser ^[83] удалены: класс SafeConfigParser, свойство filename класса ParsingError, метод readfp() класса ConfigParser, устарел с Python 3.2. (внесено Хьюго ван Кеменаде в bpo-45173 ^[84]).

• Декоратор ^[85] @asyncio.coroutine, позволяющий совместить унаследованные генераторы сопрограмм с кодом async/await. Функция была устаревшей с Python 3.8, и её удаление первоначально планировалось в Python 3.10. Вместо неё используйте async def ^[86] (внесено Ильёй Волочием в bpo-43216 ^[87]).

• asyncio.coroutines.CoroWrapper используется для обёртывания унаследованных объектов сопрограммы на основе генератора в режиме отладки (внесено Ильёй Волочием в bpo-43216 ^[87]).

• Из _tkinter.TkappType удалён устаревший метод split() (вклад Эрленда Аасланда в bpo-38371 ^[88]).

Портирование кода на Python 3.11

В этом разделе перечислены ранее описанные изменения и другие исправления, которые могут потребовать изменить ваш код.

Изменения в API Python

• Запрещена передача не-concurrent.futures.ThreadPoolExecutor ^[89] исполнителей в loop.set_default_executor() после исправления в Python 3.8. (Внесено Ильёй Волочием в bpo-43234 ^[90]).

• open() ^[91], io.open() ^[92], codecs.open() ^[93] и fileinput.FileInput ^[76] больше не принимают 'U' (“универсальную новую строку”) в режиме файла. Этот флаг был устаревшим с версии Python 3.3. В Python 3 "универсальная новая строка" используется по умолчанию, когда файл открыт в текстовом режиме. Параметр newline ^[94] в open() ^[91] управляет тем, как работает универсальная новая строка (внесено Виктором Стиннером в bpo-37330 ^[95]).

• Модуль pdb ^[96] теперь читает конфигурационный файл .pdbrc с кодировкой 'utf-8' (внесено Шринивасом Редди Тхатипарти (శ్రీనివాస్ రెడ్డి తాటిపర్తి) в bpo-41137 ^[97]).

Изменения в сборке

• CPython теперь может быть собран с опцией ThinLTO через --with-lto=thin. (вклад Дон-Хи На и Бретта Холмана в bpo-44340 ^[98]).

Изменения в C API

Новые возможности

• Добавлена функция PyType_GetName() ^[99] для получения короткого имени типа. (Внесено Хай-Ши в bpo-42035 ^[100]).

• Добавлена новая функция PyType_GetQualName() ^[101] для получения квалифицированного имени типа (внесено Хай-Ши в bpo-42035 ^[100]).

Портирование на Python 3.11

• Старые макросы "мусорной корзины" (Py_TRASHCAN_SAFE_BEGIN/Py_TRASHCAN_SAFE_END) следует заменить новыми макросами Py_TRASHCAN_BEGIN и Py_TRASHCAN_END.

Функция tp_dealloc, имеющая старые макросы, такие как:

static void
mytype_dealloc(mytype *p)
{
    PyObject_GC_UnTrack(p);
    Py_TRASHCAN_SAFE_BEGIN(p);
    ...
    Py_TRASHCAN_SAFE_END
}

должна перейти на новые макросы таким образом:

static void
mytype_dealloc(mytype *p)
{
    PyObject_GC_UnTrack(p);
    Py_TRASHCAN_BEGIN(p, mytype_dealloc)
    ...
    Py_TRASHCAN_END
}

 Py_TRASHCAN_BEGIN имеет второй аргумент, который должен быть функцией освобождения памяти, где он находится.

Для поддержки старых версий Python в одной и той же кодовой базе можно определить следующие макросы и использовать их во всём коде (они были скопированы из кодовой базы mypy):

#if PY_MAJOR_VERSION >= 3 && PY_MINOR_VERSION >= 8
#  define CPy_TRASHCAN_BEGIN(op, dealloc) Py_TRASHCAN_BEGIN(op, dealloc)
#  define CPy_TRASHCAN_END(op) Py_TRASHCAN_END
#else
#  define CPy_TRASHCAN_BEGIN(op, dealloc) Py_TRASHCAN_SAFE_BEGIN(op)
#  define CPy_TRASHCAN_END(op) Py_TRASHCAN_SAFE_END(op)
#endif

• Функция PyType_Ready() ^[102] теперь выдаёт ошибку, если тип определён с установленным флагом Py_TPFLAGS_HAVE_GC ^[103], но не имеет функции обхода (PyTypeObject.tp_traverse ^[104]) (внесено Виктором Стиннером в bpo-44263 ^[105]).

• Типы кучи с флагом Py_TPFLAGS_IMMUTABLETYPE ^[106] теперь могут наследовать протокол векторных вызовов PEP 590 ^[107]. Ранее это было возможно только для статических типов ^[108] (вклад Эрленда Аасланда в bpo-43908 ^[109]).

• Поскольку Py_TYPE() ^[110] изменён на встроенную статическую функцию, Py_TYPE(obj) = new_type должно быть заменено на Py_SET_TYPE(obj, new_type): см. функцию Py_SET_TYPE() ^[111], которая доступна начиная с Python 3.9. Для обратной совместимости можно использовать этот макрос:

#if PY_VERSION_HEX < 0x030900A4 && !defined(Py_SET_TYPE)
static inline void _Py_SET_TYPE(PyObject *ob, PyTypeObject *type)
{ ob->ob_type = type; }
#define Py_SET_TYPE(ob, type) _Py_SET_TYPE((PyObject*)(ob), type)
#endif

 (Вклад Виктора Стиннера в bpo-39573 ^[112]).

• Поскольку Py_SIZE() ^[113] изменена на встроенную статическую функцию, Py_SIZE(obj) = new_size нужно заменить на Py_SET_SIZE(obj, new_size): см. функцию Py_SET_SIZE() ^[114] (доступна начиная с Python 3.9). Для обратной совместимости можно использовать этот макрос:

#if PY_VERSION_HEX < 0x030900A4 && !defined(Py_SET_SIZE)
static inline void _Py_SET_SIZE(PyVarObject *ob, Py_ssize_t size)
{ ob->ob_size = size; }
#define Py_SET_SIZE(ob, size) _Py_SET_SIZE((PyVarObject*)(ob), size)
#endif

 (Внесено Виктором Стиннером в bpo-39573 ^[112]).

Устаревшее

Удалённое

• PyFrame_BlockSetup() и PyFrame_BlockPop() удалены (вклад Марка Шеннона в bpo-40222 ^[48]).

• Удалены следующие функции настройки инициализации Python:

• PySys_AddWarnOptionUnicode() ^[115];

• PySys_AddWarnOption() ^[116];

• PySys_AddXOption() ^[117];

• PySys_HasWarnOptions();

• Py_SetPath() ^[118];

• Py_SetProgramName() ^[119];

• Py_SetPythonHome() ^[120];

• Py_SetStandardStreamEncoding() ^[121];

• _Py_SetProgramFullPath().

Используйте новый API PyConfig ^[122] из Python Initialization Configuration ^[123], PEP 587 ^[124], (внесено Виктором Стиннером в bpo-44113 ^[125]).

Прокачать навыки или начать изучать Python вы можете на наших курсах:

• Профессия Fullstack-разработчик на Python (15 месяцев) ^[126]

• Курс «Python-разработчик» (10 месяцев) ^[127]

Также вы можете перейти на страницы из каталога ^[128], чтобы узнать, как мы готовим специалистов в других направлениях.

Профессии и курсы

Data Science и Machine Learning

• Профессия Data Scientist ^[129]

• Профессия Data Analyst ^[130]

• Курс «Математика для Data Science» ^[131]

• Курс «Математика и Machine Learning для Data Science» ^[132]

• Курс по Data Engineering ^[133]

• Курс «Machine Learning и Deep Learning» ^[134]

• Курс по Machine Learning ^[135]

Python, веб-разработка

• Профессия Fullstack-разработчик на Python ^[136]

• Курс «Python для веб-разработки» ^[137]

• Профессия Frontend-разработчик ^[138]

• Профессия Веб-разработчик ^[139]

Мобильная разработка

• Профессия iOS-разработчик ^[140]

• Профессия Android-разработчик ^[141]

Java и C#

• Профессия Java-разработчик ^[142]

• Профессия QA-инженер на JAVA ^[143]

• Профессия C#-разработчик ^[144]

• Профессия Разработчик игр на Unity ^[145]

От основ — в глубину

• Курс «Алгоритмы и структуры данных» ^[146]

• Профессия C++ разработчик ^[147]

• Профессия Этичный хакер ^[148]

А также:

• Курс по DevOps ^[149]