跳到主要内容

运行器认证缓存

运行器发送给服务器的每个请求都携带其令牌,服务器必须先将该令牌解析为运行器记录,然后才能做任何其他事情。运行器每隔几秒轮询一次,并在作业运行期间每秒上报一次进度,因此如果没有缓存,每一个这样的请求都要付出一次数据库查询的代价。运行器缓存从内存中应答其中的大部分请求。

单个节点将缓存保存在自己的内存中。在 HA 模式下这还不够:如果你在节点 A 上编辑了一个运行器,节点 B 就不能继续提供旧记录。因此在 HA 模式下,缓存存放在 Redis 中并由所有节点共享,通过任何节点所做的更改都会立即对所有节点可见。

备注

此缓存不是运行器页面上的清除缓存操作。该操作是要求运行器自身删除其机器上的工作目录。

缓存的内容及其保存时长​

缓存的值是去掉标签和令牌的运行器记录。令牌永远不会到达 Redis:键由令牌的 SHA-256 哈希派生而来,并且在存储记录之前令牌字段会被清空。

一个条目最多存活 30 秒。实际上它会更早被丢弃,因为通过 Semaphore 所做的每一次更改都会立即使缓存失效:

  • 创建、更新、删除或重新注册运行器,或删除项目,都会丢弃所有节点上全部已缓存的运行器。
  • 运行器心跳只丢弃该运行器自己的条目,因此所存储的"最后在线"时间保持最新,而不影响其他条目。心跳的写入间隔最多为 runners.offline_timeout_sec 的三分之一一次,上限为 45 秒;在默认超时为 120 秒的情况下,即每 40 秒一次。

30 秒的过期时间只对绕过 Semaphore 所做的更改有意义,例如直接编辑 runner 表或恢复备份。

如何防止过期写入​

未命中缓存的查找会从数据库读取运行器,然后将其存入缓存。在这两步之间,另一个节点可能更改了该运行器。为了确保查找永远不会缓存它在更改之前读取的内容,缓存维护了一个在每次失效时递增的计数器。查找会记住它在访问数据库之前看到的计数器值,如果在此期间计数器已经变化,则存储操作会被拒绝。每一步都作为一个 Lua 脚本在 Redis 中运行,因此计数器和条目是一起读取和写入的。

Redis 键​

键类型用途
ha:runner:genstring,整数计数器。每次失效时加一,无论是整个缓存失效还是单个运行器失效。
ha:runner:invstring,整数最近一次全量失效时的计数器值。它是每个条目键的一部分,因此一次全量失效会立即使所有现有条目不可达;随后它们会自行过期。
ha:runner:token:<inv>:<sha256(token)>string,二进制缓存的运行器记录。30 s 后过期。
ha:runner:forgot:<sha256(token)>string,整数该运行器最近一次心跳时的计数器值。在心跳之前开始的查找无法存储心跳前的记录。30 s 后过期。

集群仪表盘将 ha:runner:token:* 键的数量报告为运行器缓存的大小。

Redis 出现问题时的行为​

缓存永远不会导致运行器请求失败。每次缓存操作都限制在 500 毫秒以内;如果 Redis 缓慢或不可达,查找会被视为未命中并转而访问数据库,且不会存储任何内容。唯一需要注意的情况是:在运行器被更改的那一刻 Redis 恰好宕机,导致失效操作失败;此时其他节点可能会继续提供旧记录,直到它过期为止,最多 30 秒。该失败会以错误级别记录到日志中。