Организация «чистого» завершения приложений на Go

Здравствуйте, в данной заметке будет затронута тема организации «чистого» завершения для приложений, написанных на языке Go.
Чистым выходом я называю наличие гарантий того, что в момент завершения процесса (по сигналу или по любым иным причинам кроме system failure), будут выполнены определённые процедуры и выход будет отложен до окончания их выполнения. Далее я приведу несколько типичных примеров, расскажу о стандартном подходе, а также продемонстрирую свой пакет для упрощённого применения этого подхода в ваших программах и сервисах.

TL;DR: github.com/xlab/closer ^{[1] [2]}

1. Введение

Итак, наверняка вы замечали хоть раз, как какой-нибудь сервер или утилита ловит ваш кручёный Ctrl^C и, дико извиняясь конечно, просит подождать, пока она порешает дела, которые никак нельзя отложить. Хорошо написанные программы завершают дела и выходят, плохие же впадают в deadlock и сдаются только при виде SIGKILL. Точнее, о SIGKILL программа узнать не успевает, подробно процесс описан здесь: SIGTERM vs. SIGKILL ^[3] и Unix Signal ^[4].

При переходе на Go в качестве основного языка разработки и после продолжительного использования последнего для написания различных сервисов мне стало ясно, что добавлять обработку сигналов нужно буквально в каждый сервис. В основном из-за того, что в Go многопоточность является примитивом языка. Внутри одного процесса могут одновременно работать, к примеру, следующие потоки:

• Connection pool ^[5] клиентов БД;
• Consumer для pub/sub очереди;
• Publisher для pub/sub очереди;
• N потоков собственно воркеров;
• Кэш в памяти;
• Открытые файлы логов;

Здесь нет ничего сверхъестественного (извините, если обидел), тем более на деле это представляет собой несколько сущностей, которые делают свою работу в фоне (go-рутины ^[6]), и общаются между собой через go-каналы ^[7] (типизированные очереди). Обычный такой сервис микросервисной ^[8] архитектуры.

И с запуском всё предельно просто: сначала стартуем пул клиентов БД, если не стартовал — выходим с ошибкой. Затем инициализируем кэш в памяти. Затем запускаем publisher, если не стартовал — выходим с ошибкой. Затем открываем файлы — например логи. Затем запускаем воркеров, да побольше, которые будут потреблять данные через consumer, писать в БД и что-то держать в кэше, а результаты складывать в publisher. Ах да, ещё события обработки будут писаться в логи, не обязательно из тех же потоков. И, наконец, активируем всё это открыв поток данных consumer, а если не отрылся — выходим.

Инициализация происходит последовательно, в один поток, в случае ошибки на одном этапе откатывать уже выполненные этапы инициализации не обязательно, так как система находится в нулевом положении всё это время, пока не откроем поток данных. И вот открыли поток данных, а через 5 минут нам срочно потребовалось выйти, завершить всё, да так, чтобы красиво и чисто.

Зачем? А потому что не все результаты из буферизированного канала могли успеть быть полученными процессом записи в БД, да и те, что были считаны из канала, могли не успеть дойти до БД по сети. И не все объекты могли успеть опубликоваться в pub/sub очередь. Не все воркеры могли успеть сдать свои результаты в соответствующие каналы. Потребление очереди воркерами могло быть также буферизировано, а значит, небольшая часть объектов могла оказаться считанной с сервера pub/sub очереди, но ещё не обработанной воркерами. Кэш в памяти, например, должен быть сдамплен на диск в момент завершения программы, а ещё все буферы с данными логов должны быть очищены в соответствующие файлы. Всё это перечислено здесь с целью показать, что любой примитивный сервис с несколькими фоновыми задачами обречён иметь способ надёжного отслеживания выхода приложения. И вовсе не ради красивого уведомления «Bye bye...» в консоли, а как жизненно необходимый механизм синхронизации многопоточного комбайна.

2. Немного практики

В Go имеется хороший инструмент — defer ^[9], это выражение, будучи применённым к функции, добавит её в специальный список. Функции из этого списка будут выполнены в обратном порядке перед возвратом из текущей функции. Такой механизм иной раз упрощает работу с мьютексами и прочими ресурсами, которые нужно освободить при возврате. Эффект defer действует даже если случается паника (=исключение), то есть, определённый в deferred-функции код получает гарантию быть выполненным, а сами исключения таким способом могут быть пойманы и обработаны.

func Checked() {
	defer func() {
		// проверка, была ли паника
		if x := recover(); x != nil {
			// можно написать в лог, а также пробросить исключение наверх
		}
	}()

	// что-нибудь делаем, случается паника
}

Но есть один злостный антипаттерн, почему-то зачастую defer начинают использовать в функции main. Например:

func main() {
	defer doCleanup()

	// немного псевдоработы
	fmt.Println("10 seconds to go...")
	<-time.Tick(10 * time.Second)
}

Код отлично отработает в случае обычного возврата и даже паники, но люди забыли о том, что defer не сработает в случае получения процессом сигнала на завершение (выполняется syscall exit ^[10], из документации Go: «The program terminates immediately; deferred functions are not run.»).

Чтобы грамотно обработать подобную ситуацию, сигналы следует ловить вручную «подписавшись» на нужные типы сигналов. Распространённая практика (судя по ответам на StackOverflow) заключается в использовании signal.Notify ^[11], паттерн выглядит примерно так:

sigChan := make(chan os.Signal, 1)
signal.Notify(sigChan,
	syscall.SIGHUP,
	syscall.SIGINT,
	syscall.SIGTERM,
	syscall.SIGQUIT)
go func() {
	s := <-sigChan
	// поймали один из
}()

Для скрытия лишних деталей реализации и был придуман пакет xlab/closer ^[12], о нём пойдёт речь дальше.

3. Closer

Итак, пакет closer берёт на себя обязанность отслеживать сигналы, позволяет привязать функции и автоматически выполнит их в обратном порядке при завершении. Пакет потокобезопасен, тем самым избавляя пользователя от необходимости думать о возможных здесь состояниях гонки при вызове closer.Close ^[13] из нескольких потоков одновременно. API на данный момент состоит из 5 функций: Init ^[14], Bind ^[15], Checked ^[16], Hold ^[17] и Close ^[13]. Init позволяет пользователю переопределить список сигналов и другие опции, использование остальных функций рассмотрим на примерах.

Стандартный список сигналов: syscall.SIGINT, syscall.SIGHUP, syscall.SIGTERM, syscall.SIGABRT.

Пример обычный

func main() {
	closer.Bind(cleanup)

	go func() {
		// делаем работу в отдельном потоке
		fmt.Println("10 seconds to go...")
		<-time.Tick(10 * time.Second)
		// по окончании требуем завершение процесса
		closer.Close()
	}()

	// блокирует, пока не будет отработан выход — по сигналу или через closer.Close
	closer.Hold()
}

func cleanup() {
	fmt.Print("Hang on! I'm closing some DBs, wiping some trails..")
	<-time.Tick(3 * time.Second)
	fmt.Println("  Done.")
}

Пример с ошибкой

Функция closer.Checked ^[15] позволяет делать проверку на ошибки и ловить исключения. Здесь код возврата будет отличен от нуля, причём обработкой выхода занимается по-прежнему пакет closer.

func main() {
	closer.Bind(cleanup)
	closer.Checked(run, true)
}

func run() error {
	fmt.Println("Will throw an error in 10 seconds...")
	<-time.Tick(10 * time.Second)
	return errors.New("KAWABANGA!")
}

func cleanup() {
	fmt.Print("Hang on! I'm closing some DBs, wiping some trails...")
	<-time.Tick(3 * time.Second)
	fmt.Println("  Done.")
}

Пример с паникой (исключением)

func main() {
	closer.Bind(cleanup)
	closer.Checked(run, true)
}

func run() error {
	fmt.Println("Will panic in 10 seconds...")
	<-time.Tick(10 * time.Second)
	panic("KAWABANGA!")
	return nil
}

func cleanup() {
	fmt.Print("Hang on! I'm closing some DBs, wiping some trails...")
	<-time.Tick(3 * time.Second)
	fmt.Println("  Done.")
}

Таблица соответствия кодов завершения:

   Событие       | Код завершения
   ------------- | -------------
   error = nil   | 0 (успех)
   error != nil  | 1 (ошибка)
   panic         | 1 (ошибка)

Заключение

Таким образом, вне зависимости от первопричины завершения процесса, ваше приложение на Go отработает необходимую процедуру «чистого» завершения. В Go принято для каждой сущности, требующей такой процедуры, писать метод Close, который бы финализировал все внутренние процессы этой сущности. Значит, завершение вышеописанного сервиса из второй части данной статьи будет заключаться в вызове метода Close() для всех созданных сущностей, в обратном порядке.

Сначала закрывается поток данных consumer очереди pub/sub, новых задач в систему поступать не будет, затем система дождётся, пока все воркеры отработают и завершатся, только после этого будет синхронизирован с диском кэш, закрыт канал записи в БД, закрыт канал publisher, синхронизированы и закрыты файлы логов, и, наконец, будут закрыты подключения к БД и сам publisher. На словах звучит достаточно серьёзно, но на деле же достаточно лишь грамотно написать метод Close каждой сущности и в main при инициализации использовать closer.Bind ^[15]. Эскиз main для наглядности:

func main() {
defer closer.Close()

pool, _ := xxx.NewPool()
closer.Bind(pool.Close)

pub, _ := yyy.NewPublisher()
closer.Bind(function(){
	pub.Stop()
	<-pub.StopChan
})

wChan := make(chan string, BUFFER_SIZE)
workers, _ := zzz.NewWorkgroup(pool, pub, wChan)
closer.Bind(workers.Close)

sub, _ := yyy.NewConsumer()
closer.Bind(sub.Stop)

// блокирующий вызов (иначе используйте closer.Hold)
sub.Consume(wChan)
}

Удачной вам синхронизации!

Автор: Xlab

Источник ^[18]