본문으로 건너뛰기

Runner 인증 캐시

runner가 서버로 보내는 모든 요청에는 토큰이 포함되며, 서버는 다른 작업을 하기 전에 먼저 그 토큰을 runner 레코드로 변환해야 합니다. runner는 몇 초마다 폴링하고 작업이 실행되는 동안 매초 진행 상황을 보고하므로, 캐시가 없다면 이 요청 하나하나가 데이터베이스 쿼리를 발생시킵니다. runner 캐시는 그 대부분에 메모리에서 응답합니다.

단일 노드는 캐시를 자신의 메모리에 보관합니다. HA 모드에서는 이것으로 충분하지 않습니다. 노드 A에서 runner를 수정하면 노드 B가 이전 레코드를 계속 제공해서는 안 됩니다. 그래서 HA 모드에서는 캐시가 Redis에 있고 모든 노드가 공유하며, 어떤 노드를 통해 변경하든 모든 노드에서 즉시 보입니다.

노트

이 캐시는 Runner 페이지의 캐시 지우기 동작과는 다릅니다. 그 동작은 runner 자체에 해당 머신의 작업 디렉터리를 삭제하도록 요청하는 것입니다.

캐시되는 내용과 유지 기간​

캐시되는 값은 태그와 토큰을 제외한 runner 레코드입니다. 토큰은 절대 Redis에 도달하지 않습니다. 키는 토큰의 SHA-256 해시에서 파생되며, 레코드가 저장되기 전에 토큰 필드는 비워집니다.

항목은 최대 30초 동안 유지됩니다. 실제로는 그보다 훨씬 일찍 삭제되는데, Semaphore를 통해 이루어진 모든 변경이 캐시를 즉시 무효화하기 때문입니다.

  • runner를 생성, 수정, 삭제, 재등록하거나 프로젝트를 삭제하면 모든 노드에서 캐시된 모든 runner가 삭제됩니다.
  • runner 하트비트는 해당 runner의 항목만 삭제하므로, 다른 항목을 건드리지 않고 저장된 "마지막 확인" 시각이 최신으로 유지됩니다. 하트비트는 runners.offline_timeout_sec의 3분의 1(최대 45초) 간격마다 최대 한 번 기록됩니다. 기본 타임아웃인 120초에서는 40초마다입니다.

30초 만료는 Semaphore를 거치지 않고 이루어진 변경, 예를 들어 runner 테이블을 직접 수정하거나 백업을 복원한 경우에만 의미가 있습니다.

오래된 쓰기를 방지하는 방법​

캐시에서 찾지 못한 조회는 데이터베이스에서 runner를 읽은 다음 저장합니다. 이 두 단계 사이에 다른 노드가 runner를 변경할 수 있습니다. 조회가 변경 전에 읽은 내용을 절대 캐시하지 않도록, 캐시는 무효화할 때마다 증가하는 카운터를 유지합니다. 조회는 데이터베이스로 가기 전에 본 카운터 값을 기억하고, 그 사이에 카운터가 바뀌었으면 저장이 거부됩니다. 각 단계는 Redis에서 하나의 Lua 스크립트로 실행되므로, 카운터와 항목은 함께 읽고 함께 기록됩니다.

Redis 키​

키유형용도
ha:runner:genstring, 정수카운터. 전체 캐시 무효화든 단일 runner 무효화든, 무효화할 때마다 1씩 증가합니다.
ha:runner:invstring, 정수마지막 전체 무효화 시점의 카운터 값. 모든 항목 키의 일부이므로, 전체 무효화가 일어나면 기존 항목 전체가 한꺼번에 접근 불가능해지고, 이후 스스로 만료됩니다.
ha:runner:token:<inv>:<sha256(token)>string, 바이너리캐시된 runner 레코드. 30초 후 만료됩니다.
ha:runner:forgot:<sha256(token)>string, 정수이 runner의 마지막 하트비트 시점의 카운터 값. 하트비트 이전에 시작된 조회는 하트비트 이전의 레코드를 저장할 수 없습니다. 30초 후 만료됩니다.

클러스터 대시보드는 ha:runner:token:* 키의 수를 runner 캐시의 크기로 표시합니다.

Redis에 문제가 있을 때의 동작​

캐시 때문에 runner 요청이 실패하는 일은 없습니다. 모든 캐시 연산은 500밀리초로 제한됩니다. Redis가 느리거나 연결할 수 없으면 조회는 미스로 처리되어 데이터베이스로 가며, 아무것도 저장되지 않습니다. 유의해야 할 한 가지 경우는 runner가 변경되는 순간 Redis가 다운되어 무효화가 실패하는 경우입니다. 이때 다른 노드들은 항목이 만료될 때까지, 최대 30초 동안 이전 레코드를 제공할 수 있습니다. 이 실패는 오류 수준으로 로그에 기록됩니다.