Кэш аутентификации runner'ов
Каждый запрос, который runner отправляет серверу, содержит его токен, и прежде чем что-либо делать, сервер должен превратить этот токен в запись runner'а. Runner'ы опрашивают сервер каждые несколько секунд, а во время выполнения задания отправляют прогресс каждую секунду, поэтому без кэша каждый такой запрос стоил бы обращения к базе данных. Кэш runner'ов отвечает на большинство из них из памяти.
Одиночный узел держит кэш в собственной памяти. В режиме HA этого недостаточно: если вы изменили runner на узле A, узел B не должен продолжать отдавать старую запись. Поэтому в режиме HA кэш живёт в Redis и общий для всех узлов, а изменение, сделанное через любой узел, видно всем сразу.
Этот кэш — не то же самое, что действие Очистить кэш на странице Runner'ов. То действие просит сам runner удалить рабочие каталоги на его машине.
Что кэшируется и как долго
Кэшируется запись runner'а без тегов и без токена. Токен никогда не попадает в Redis: ключ строится из SHA-256-хеша токена, а поле токена обнуляется перед сохранением записи.
Запись живёт не дольше 30 секунд. На практике она сбрасывается гораздо раньше, потому что любое изменение через Semaphore немедленно инвалидирует кэш:
- Создание, изменение, удаление или перерегистрация runner'а, а также удаление проекта сбрасывают все закэшированные записи на всех узлах.
- Heartbeat runner'а сбрасывает только запись этого runner'а, поэтому сохранённое время «последней активности» остаётся свежим, не задевая остальных. Heartbeat записывается не чаще, чем раз в треть
runners.offline_timeout_sec, но не реже чем раз в 45 секунд; при таймауте по умолчанию в 120 секунд это каждые 40 секунд.
Срок в 30 секунд важен только для изменений в обход Semaphore, например при прямом редактировании таблицы runner или восстановлении из резервной копии.
Как предотвращается запись устаревших данных
Запрос, не нашедший запись в кэше, читает runner из базы данных и затем сохраняет его. Между этими двумя шагам и другой узел может изменить runner. Чтобы запрос никогда не закэшировал то, что прочитал до изменения, кэш ведёт счётчик, растущий при каждой инвалидации. Запрос запоминает значение счётчика перед обращением к базе данных, и сохранение отклоняется, если счётчик за это время сдвинулся. Каждый шаг выполняется одним Lua-скриптом в Redis, поэтому счётчик и запись читаются и пишутся вместе.
Ключи Redis
| Ключ | Тип | Назначение |
|---|---|---|
ha:runner:gen | строка, целое число | Счётчик. Растёт на единицу при каждой инвалидации — как всего кэша, так и одного runner'а. |
ha:runner:inv | строка, целое число | Значение счётчика на момент последней полной инвалидации. Оно входит в ключ каждой записи, поэтому полная инвалидация делает все существующие записи недостижимыми разом; затем они истекают сами. |
ha:runner:token:<inv>:<sha256(token)> | строка, бинарная | Закэшированная запись runner'а. Истекает через 30 с. |
ha:runner:forgot:<sha256(token)> | строка, целое число | Значение счётчика на момент последнего heartbeat этого runner'а. Запрос, начавшийся до heartbeat, не сможет сохранить запись в состоянии до него. Истекает через 30 с. |
Панель кластера показывает число ключей ha:runner:token:* как размер кэша runner'ов.
Поведение при проблемах с Redis
Кэш никогда не приводит к ошибке запроса runner'а. Каждая операция с кэшем ограничена 500 миллисекундами; если Redis медленный или недоступен, запрос считается промахом и идёт в базу данных, а в кэш ничего не записывается. Единственный случай, о котором стоит знать, — инвалидация, не удавшаяся потому, что Redis лежал в момент изменения runner'а: тогда другие узлы могут отдавать старую запись, пока она не истечёт, то есть не дольше 30 секунд. Такой сбой пишется в лог с уровнем error.
Связанные страницы
- Высокая доступность — архитектура, конфигурация и настройка балансировщика.
- Координация кластера — ключи, блокировки и каналы Redis, общие для узлов.
- Runner'ы — регистрация и настройка runner'ов.