Перейти к основному содержимому

Кэш аутентификации runner'ов

Каждый запрос, который runner отправляет серверу, содержит его токен, и прежде чем что-либо делать, сервер должен превратить этот токен в запись runner'а. Runner'ы опрашивают сервер каждые несколько секунд, а во время выполнения задания отправляют прогресс каждую секунду, поэтому без кэша каждый такой запрос стоил бы обращения к базе данных. Кэш runner'ов отвечает на большинство из них из памяти.

Одиночный узел держит кэш в собственной памяти. В режиме HA этого недостаточно: если вы изменили runner на узле A, узел B не должен продолжать отдавать старую запись. Поэтому в режиме HA кэш живёт в Redis и общий для всех узлов, а изменение, сделанное через любой узел, видно всем сразу.

примечание

Этот кэш — не то же самое, что действие Очистить кэш на странице Runner'ов. То действие просит сам runner удалить рабочие каталоги на его машине.

Что кэшируется и как долго​

Кэшируется запись runner'а без тегов и без токена. Токен никогда не попадает в Redis: ключ строится из SHA-256-хеша токена, а поле токена обнуляется перед сохранением записи.

Запись живёт не дольше 30 секунд. На практике она сбрасывается гораздо раньше, потому что любое изменение через Semaphore немедленно инвалидирует кэш:

  • Создание, изменение, удаление или перерегистрация runner'а, а также удаление проекта сбрасывают все закэшированные записи на всех узлах.
  • Heartbeat runner'а сбрасывает только запись этого runner'а, поэтому сохранённое время «последней активности» остаётся свежим, не задевая остальных. Heartbeat записывается не чаще, чем раз в треть runners.offline_timeout_sec, но не реже чем раз в 45 секунд; при таймауте по умолчанию в 120 секунд это каждые 40 секунд.

Срок в 30 секунд важен только для изменений в обход Semaphore, например при прямом редактировании таблицы runner или восстановлении из резервной копии.

Как предотвращается запись устаревших данных​

Запрос, не нашедший запись в кэше, читает runner из базы данных и затем сохраняет его. Между этими двумя шагами другой узел может изменить runner. Чтобы запрос никогда не закэшировал то, что прочитал до изменения, кэш ведёт счётчик, растущий при каждой инвалидации. Запрос запоминает значение счётчика перед обращением к базе данных, и сохранение отклоняется, если счётчик за это время сдвинулся. Каждый шаг выполняется одним Lua-скриптом в Redis, поэтому счётчик и запись читаются и пишутся вместе.

Ключи Redis​

КлючТипНазначение
ha:runner:genстрока, целое числоСчётчик. Растёт на единицу при каждой инвалидации — как всего кэша, так и одного runner'а.
ha:runner:invстрока, целое числоЗначение счётчика на момент последней полной инвалидации. Оно входит в ключ каждой записи, поэтому полная инвалидация делает все существующие записи недостижимыми разом; затем они истекают сами.
ha:runner:token:<inv>:<sha256(token)>строка, бинарнаяЗакэшированная запись runner'а. Истекает через 30 с.
ha:runner:forgot:<sha256(token)>строка, целое числоЗначение счётчика на момент последнего heartbeat этого runner'а. Запрос, начавшийся до heartbeat, не сможет сохранить запись в состоянии до него. Истекает через 30 с.

Панель кластера показывает число ключей ha:runner:token:* как размер кэша runner'ов.

Поведение при проблемах с Redis​

Кэш никогда не приводит к ошибке запроса runner'а. Каждая операция с кэшем ограничена 500 миллисекундами; если Redis медленный или недоступен, запрос считается промахом и идёт в базу данных, а в кэш ничего не записывается. Единственный случай, о котором стоит знать, — инвалидация, не удавшаяся потому, что Redis лежал в момент изменения runner'а: тогда другие узлы могут отдавать старую запись, пока она не истечёт, то есть не дольше 30 секунд. Такой сбой пишется в лог с уровнем error.