- PVSM.RU - https://www.pvsm.ru -

Обзор GORP — ORM для языка Go

В предыдущей статье (http://habrahabr.ru/post/178963/ [1]) я рассказывал как работать с базой данных на Go. В комментариях к посту мне посоветовали посмотреть две библиотеки ORM.

Вообще, если говорить о работе с базой данных в Go, то самым простым способом будет представление структуры данных в виде массива или словаря. Сериализация в этом случае будет очень простой, но работа с такими типами данных в коде не выглядит привлекательной. Конечно, можно добавить обертки и т. д, но если посмотреть на архитектуру любого подобного решения, то так или иначе вырисовывается ORM.

В обеих предложенных библиотеках я не нашел всего необходимого функционала.

Beedb (https://github.com/astaxie/beedb [2])

Beedb — отличная библиотека с обширным API. Используя beedb, мы сможем строить запросы, оперируя функциями Having, Limit, Where и т. д. (если мы не используем ORM, необходимо прописывать весь запрос к базе строкой). Прикладной программный интерфейс можно посмотреть по адресу https://github.com/astaxie/beedb/wiki/API-Interface [3].

GORP (https://github.com/coopernurse/gorp [4])

Gorp — небольшая библиотека, в API которой входит минимум функций:

  • Get — извлекаем запись по ключу.
  • Insert — добавляем новую запись.
  • Delete — удаляем по ключу.
  • Update — обновляем по ключу.
  • Select — выборка произвольного числа объектов.
  • Exec — выполнить произвольный запрос.

Библиотека позволяет работать с разными SQL диалектами, API значительно меньше, чем у Beedb.

Как мне показалось, Beedb намного сложнее в использовании. Задача, под которую выбиралась библиотека — создать единый вход для форумов “Сети Знаний” [5] (чтобы пользователь мог авторизоваться на одном форуме по данным с другого). Напомню, движок http://hashcode.ru/ [6] написан на Python.

Как мне кажется, главной проблемой при работе с базой данных в Go является не сложность занесения объектов, а сложность выборки. Весь код обрастает строками содержащими sql запросы, в которых тяжко разбираться (чего нет в Django). В добавок с отсутствием перегрузки функций в языке, код становится очень объемный.

Beedb при всем своем многообразии API не решает проблему. Для реализации я выбрал GORP. Далее я расскажу о нескольких “подводных камнях” этой библиотеки.

Главные файлы:

  • dialect.go — содержит код зависимый от SQL диалектов.
  • gorp.go — код библиотеки.
  • gorp_test.go — крайне важный файл с тестами, в нем мы можем посмотреть примеры использования библиотеки.

Главной проблемой в работе с библиотекой послужило то, что она “проглатывает” ошибки. Напомню, в Go нет исключений. В таком случае (как и в языке C) вызываемая функция сообщает об ошибке в возвращаемом значение. GORP не возвращает ошибок во многих случаях с функцией Get (не возвращает объектов, но и ошибка равна nil). В случае если вы заподозрили что-то неладное, попробуйте использовать метод Select вместо Get.

Второй интересной особенностью стала работа с объектом time.Time. GORP использует отображение (рефлексию) для создания таблиц базы данных. За это отвечает файл с диалектами. Функция отвечающая за преобразование структуры в табличку:

func (d PostgresDialect) ToSqlType(val reflect.Type, maxsize int, isAutoIncr bool) string {
	switch val.Kind() {
	case reflect.Bool:
		return "boolean"
	case reflect.Int, reflect.Int16, reflect.Int32, reflect.Uint16, reflect.Uint32:
		if isAutoIncr {
			return "serial"
		}
		return "integer"
	case reflect.Int64, reflect.Uint64:
		if isAutoIncr {
			return "bigserial"
		}
		return "bigint"
	case reflect.Float64, reflect.Float32:
		return "real"
	case reflect.Slice:
		if val.Elem().Kind() == reflect.Uint8 {
			return "bytea"
		}
	}

	switch val.Name() {
	case "NullableInt64":
		return "bigint"
	case "NullableFloat64":
		return "double"
	case "NullableBool":
		return "smallint"
	case "NullableBytes":
		return "bytea"
	}

	if maxsize < 1 {
		maxsize = 255
	}
	return fmt.Sprintf("varchar(%d)", maxsize)
}

Можно увидеть, что время будет записано как число, а не как timestamp. При работе с драйвером для PostgreSQL от lxn (https://github.com/lxn/go-pgsql [7]) это вызвало проблемы с извлечением данных. Я добавил следующие строки во второй switch:

	case "Time":
		return "timestamp with time zone"

Следующим моментом стала ошибка при извлечении нулевого времени. При записи в базу дописываются дополнительные элементы в конец строки, которые не соответствуют стандарту RFC3339, с помощью которого идет преобразования строки в объект времени. Это происходит только в том случае, если объект нулевой (IsZero возвращает true).

Еще один момент касается префикса базы данных. Как ни странно в диалекте Postgres он объявлен не экспортируемым и его невозможно задать.

В следующих статьях я расскажу вам об архитектуре единого входа на форумы.

Далее секция Q&A. Пожалуйста, задавайте ваши вопросы в комментариях к посту, на форуме ХэшКод c метками “Golang” и “Go” [8] или в личных сообщениях. Лучшие вопросы будут в конце каждой статьи.

Пользователь sergeyfast спросил, как обрабатывать нулевые значения при извлечении данных из базы данных.

Это делается за счет специальных типов, объявленных в пакете sql. Типы:

  • NullBool
  • NullFloat64
  • NullInt64
  • NullString

Пример обработки нулевого значения:

func makeIntFromResultSet(rows * sql.Rows) interface{} {	
	var value sql.NullInt64
	err := rows.Scan(&value)
	HandleDataBaseError(err)
	
	if value.Valid {
		return value.Int64
	}
	
	return -1
}

Пользователь zuborg спрашивал как мы управляем временем жизни кэша.

Алгоритм прост: время и ревалидация.

Мы заносим данные в memcached на 15 минут. Данные в memcached — это не просто пара ключ — значение, мы храним их как двойной указатель. Для доступа к записи необходимо сначала извлечь ключ, и только затем данные. Все данные описываются мета-ключами. Мета-ключом выступает первичный (или уникальный) ключ таблицы в базе, а также сам SQL запрос. Когда происходит обращение к базе, мы добавляем данные в кэш и приписываем им мета-ключи Таким образом, мы можем ревалидровать одни и те же данные по разным ключам, например, удалить из кэша все данные, где встречается пользователь с ID.

Автор: DevExpert

Источник [9]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/programmirovanie/36109

Ссылки в тексте:

[1] http://habrahabr.ru/post/178963/: http://habrahabr.ru/post/178963/

[2] https://github.com/astaxie/beedb: https://github.com/astaxie/beedb

[3] https://github.com/astaxie/beedb/wiki/API-Interface: https://github.com/astaxie/beedb/wiki/API-Interface

[4] https://github.com/coopernurse/gorp: https://github.com/coopernurse/gorp

[5] форумов “Сети Знаний”: http://sezn.ru/

[6] http://hashcode.ru/: http://hashcode.ru/

[7] https://github.com/lxn/go-pgsql: https://github.com/lxn/go-pgsql

[8] ХэшКод c метками “Golang” и “Go”: http://hashcode.ru/questions/tagged/go/

[9] Источник: http://habrahabr.ru/post/182602/