В качестве решения проблемы с ошибкой ERR_NGROK_9040 мы предлагаем воспользоваться нашим сервисом Tuna – простой интерфейс, понятный функционал, в целом, всё, как надо.

Создаем пустой репозиторий, в файл .gitlab-ci.yml прописываем следующий контент:

---
variables:
  REGISTRY_ADDR: my.registry/aabbccdd

stages:
  - lint
  - sync

lint:
  image: quay.io/skopeo/stable:v1.13.0
  stage: lint
  script:
    - DRY_RUN=1 ./.skopeo.sh

sync:
  image: quay.io/skopeo/stable:v1.13.0
  stage: sync
  script:
    - ./.skopeo.sh
  only:
    refs:
      - master

Чуть ниже создаем файл .skopeo.sh:

#!/usr/bin/env bash

set -o errexit
set -o nounset

for file in *-images.yaml; do
  echo "==> ${file}"
  skopeo sync \
    --scoped \
    --keep-going \
    --src yaml \
    --dry-run="${DRY_RUN:-0}" \
    --dest docker "${file}" "${REGISTRY_ADDR}" \
    --dest-authfile .docker_config.json
done

Обращу внимание, что для пуша могут потребоваться какие-то реквизиты, через аргумент --dest-authfile задается путь к стандартному для Docker файлу с реквизитами в формате JSON, можно так же использовать --dest-registry-token или --dest-creds, все варианты перечислены в справке.

Теперь создаем файл, например, team-infra-images.yaml (файлов может быть несколько, главное, чтобы заканчивались на -images.yaml) с перечнем образов, которые нужно перенести к нам:

---
quay.io:
  images:
    skopeo/stable:
      - v1.13.0
mirror.gcr.io:
  images:
    golang:
      - "1.21"

Теперь, при создании Merge Request у нас будет выполняться dry-run запуск, оставим на всякий случай, чтобы убедиться, что внутри конфигурационных файлов корректный синтаксис. После вливания изменений в основную ветку произойдет проверка источника с получателем, если есть разночтения, то образы будут скопированы в нужный регистри.

Из флагов в команде sync отмечу следующие:

• --scoped – для включения хоста источника в имя результирующего образа в нашем регистри (например, образ quay.io/skopeo/stable:v1.13.0 будет скопирован не в my.registry/aabbccdd/skopeo/stable:v1.13.0, а в my.registry/aabbccdd/quay.io/skopeo/stable:v1.13.0);
• --keep-going – продолжать синхронизацию образов, даже если получили ошибку.

Так же можно запланировать периодический запуск, чтобы быть уверенным, что все образы на месте.

Тапы по тачпаду

Помимо физического нажатия на тачпад можно будет просто по нему тапать пальцем, будет считаться за клик. Переходим в настройки, затем включаем нижнюю галочку "Tap on click":

Скорость реакции тачпада

Та же страница, настройку "Tracking speed" выкручиваем на максимум.

Скорость повтора нажатия

Настройки "Key repeat rate" и "Delay until repeat" выставляем в положение "Fast" и "Short":

Перетаскивание окон тремя пальцами

Переходим в Accessibility, там в раздел Pointer Control, жмем на кнопку Trackpad Options, ставим галочку "Use trackpad for dragging", а значение "Dragging style" устанавливаем как "Three-Fingers Drag":

Блокировка экрана через перемещения курсора в угол экрана

Вообще есть сочетание клавиш ^⌘Q, но привычка – дело такое. Переходим в раздел настроек Desktop & Dock, в самом низу будет кнопка Hot Corners, выбираем блокировку для нужного угла:

Отключение звуковых сигналов в Terminal

Открываем Terminal, переходим в настройки, в настройках текущего профиля переходим во вкладку Advanced, там снимаем флаг "Audible bell":

Режим разработчика в Safari

Открываем Safari, далее Настройки и раздел Advanced, в самом низу ставим галочку "Show Develop menu in menu bar":

Часть 2: https://levaminov.ru/Rmks9ZZ7RLl

И вот мы опять вернулись к исследованию производительности Mattermost, если не считать дублирующихся сообщений в больших тредах, то все было хорошо и нормально, но эти дубли, в процессе разбора инцидентов, просто выносили всем мозг. При этом у самого сервера никаких серьезных ошибок не фиксируется:

Раньше мы, в случае проблем, натыкались на какие-то ошибки подключения к базе, лимитам по коннектам, сейчас только таймату API. При этом график этих самых таймаутов методов совпадал с ошибками закрытия соединений в nginx:

Тут стало понятно, что есть какие-то таймауты со стороны сервера Mattermost, которые на это влияют, обратились к документации:

Проверяем, что у нас:

Нам так и не удалось выяснить, откуда взялись эти значения, возможно, мигрировало из нашей инсталляции, которая была развернута и управлялась оператором (там ресурсы на кластер выделяются относительно "размера" кластера в пользователях), возможно неудачная миграция с одного мажора на другой... непонятно. Поменяли значения на дефолтные – ошибки пропали, дубли пропали тоже.

После изменений так же упала нагрузка с сервера и базы, поэтому статистику по каналу, которую мы отключали в прошлом заходе, мы вернули обратно.

Заметил, что это не первая задача за последние пару дней, решение которой происходит в процессе объяснения другому инженеру что делать и с чего начинать исследование проблемы, вот уж точно "правильно заданный вопрос – половина ответа".

Часть 3: https://levaminov.ru/JsEwp91lmC-

К нашей инсталляции Mattermost в пике подключено около 350 устройств – не так много, как в истории с мессенджером в Тинькофф, но проблемы бывают и у маленьких инсталляций. Спойлер: наша проблема так и не решена.

По мере переезда пользователей из Slack мы столкнулись с тем, что в часы пик число коннектов к базе упирается в лимит, ресурсов не хватает, рестарт сервера Mattermost не спасает, лечится только полной остановкой кластера. Да и это могло помочь как на неделю, так и на день, никакой связи с числом подключенных устройств нет.

Выглядело это так:

В какой-то момент метод получения числа файлов закрепленных за конкретным чатом начинает возвращать таймауты, затем появляются ошибки подключения к базе – too many connections. Возникает вопрос – а где проблема – в базе или в самом приложении?

Время шло, мы занимались очередными переездами, но ситуация с Mattermost надоела окончательно и мы решили перенести базу с конфигурации 4 vCPU/16 GB на 8 vCPU/32 GB.

Это помогло, но ненадолго...

В итоге дошло до того, что проблемы начали появляться с началом дня и заканчиваться только поздней ночью, а число рестартов начинало напрягать – даунтайм Mattermost был 15-20 секунд, а после 10-15 минут проблема могла возвращалась и так весь день. Для пользователей это проявлялось в следующем:

• долго загружаются каналы и треды;
• при отправке сообщения оно дублируется, либо не сохраняется;
• при запуске приложения отображаются не все каналы;
• ну и наконец – даунтайм отключал от общения всех.

Еще с начала тестовой установки Mattermost мы писал все логи, в том числе SQL, все это анализировалось в режиме реального времени:

Благодаря этому мы всегда видели как система себя ведет в общем, как реагирует на какие-то изменения. На графиках мы заметили, что проблемы с нагрузкой всегда начинаются с ошибок:

Unable to get the file count for the channel

На графике это выглядит так:

По коду же, так:

И так:

В часы пик хост mySQL, за который мы платим 25000 руб. в месяц, был загружен на 98% – выглядит сомнительно, поэтому мы продолжили капать дальше, метод GetChannelFileCount вызывается только в getChannelStats – статистика по каналу, содержит в себе:

• GetChannelMemberCount
• GetChannelGuestCount
• GetChannelPinnedPostCount
• GetChannelFileCount

В какой-то момент у меня возникла мысль, что у нас нет какого-то индекса на таблице Files, но это предположение не оправдалось – свежая инсталляция содержит все то же описание таблиц... ну окей.

Метод getChannelStats использует только в API:

Вызывается так:

GET /api/v4/channels/.+/stats

В качестве эксперимента отдаем по этому пути 204:

nginx.ingress.kubernetes.io/configuration-snippet: |
  location ~ /api/v4/channels/.+/stats {
    return 204;
  }

В итоге нагрузка на хост базы резко сократилась:

В конце 11 ноября мы перекрыли этот и еще один роут (на графике он значился как GetTopChannelsForUserSince), график по ошибкам стал таким:

Высокие столбцы – это те самые моменты, в которые мы рестартовали кластер Mattermost. Вроде, стало хорошо. Почему я написал, что проблема не решена? Нууу... теперь в шапке канала пользователи видят следующее:

Так как метод ничего не возвращает, в интерфейсе тоже ничего не отображается, что может запутать наших пользователей, поэтому сейчас мы думаем (в свободное от работы время) над тем, как решить и эту проблему.

UPDATE: Я писал в Тинькофф с вопросами по распространению их переработанной версии (бесплатно или за деньги), мне ответили, что точного решения нет, как и сроков. Так что, на месте тех, кто готовится к переезду со Slack, я бы не расчитывал на их решение и не ждал его в ближайшем будущем.

P.S. Мы предлагаем свою аналитику по логам, как на графиках выше – https://anomaly1.ru.

P.P.S. Да и вообще можем по графикам проконсультировать или настроить что-нибудь – https://arendamozgov.ru.

Для реализации проверки будем использовать проверенный инструмент – Open Policy Agent, точнее даже не инструмент, а движок, который это все реализует, для самого запуска проверки будет использоваться conftest.

Для поиска дублей нужно описать политику (policy), она описывается в синтаксисе rego - не самая понятная штука, поэтому моя заметка служит просто готовым решением, детальное описание синтаксиса можно найти на сайте с документацией (есть даже песочница).

В репозитории, где храним спецификации для ArgoCD, создаем каталог policy, в нем файл argocd-applications.rego (например), с таким содержимым:

package main

deny[msg] {
	i != j
	currentFilePath = input[i].path
	input[i].contents.kind == input[j].contents.kind
	input[i].contents.metadata.name == input[j].contents.metadata.name
	msg := sprintf("Объект с именем %s (kind: %s) из файла %s дублируется в файле %s",
		[input[i].contents.metadata.name, input[i].contents.kind, currentFilePath, input[j].path])
}

Ну, а дальше встраиваем вызов в нашем CI:

---
stages:
  - lint

conftest:
  image:
    name: openpolicyagent/conftest:v0.34.0
    entrypoint: [""]
  stage: lint
  script:
    - conftest test --combine kubernetes/argocd-apps

Где kubernetes/argocd-apps - путь до описания ваших Application для ArgoCD.

Часть 3: https://levaminov.ru/JsEwp91lmC-

Не нашел живых примеров переездов на Mattermost в красках, чтобы с кровью и болью, поэтому опишу здесь несколько моментов, на которые стоит обратить внимание.

Установка

Страница инсталляции https://mattermost.com/deploy/ предлагает несколько вариантов, в нем есть вариант установки в Kubernetes – мой вариант, хотя есть описание установки через Docker, документация веред на страницу с 404 ошибкой, проекты из репозитория, которые подходят по смыслу:

• https://github.com/mattermost/mattermost-docker – в архиве;
• https://github.com/mattermost/mattermost-docker-preview – превью (?);
• https://github.com/mattermost/docker – видимо, оно, под громким названием "Redesigned mattermost-docker".

Ладно. Установка в кластер Kubernetes по статье реализуется через 3 оператора – mysql-operator, minio-operator, mattermost-operator. Последний управляет двумя другими, вот такой вот подход. Ещё в документе есть таблица с тем сколько и на активное количество пользователей потребуется ресурсов.

Описание конфигурации Mattermost, для оператора, состоит из нескольких обязательных полей:

• name;
• size (!?);
• ingress.

Мой интерес вызвал параметр "size", вот что о нем пишут:

The size of your installation.

Так-так-так, и что?

This can be ‘100users’, ‘1000users, ‘5000users’, ‘10000users’, or ‘25000users’.

Не очень понятно, открываем сам CustomResourceDefinition, там зловещая идея раскрывается более подробно:

Size defines the size of the ClusterInstallation. This is typically specified in number of users. This will override replica and resource requests/limits appropriately for the provided number of users. This is a write-only field - its value is erased after setting appropriate values of resources. Accepted values are: 100users, 1000users, 5000users, 10000users, 250000users. If replicas and resource requests/limits are not specified, and Size is not provided the configuration for 5000users will be applied. Setting 'Replicas', 'Resources', 'Minio.Replicas', 'Minio.Resource', 'Database.Replicas', or 'Database.Resources' will override the values set by Size. Setting new Size will override previous values regardless if set by Size or manually.

Другими словами – от параметра "size" зависит конфигурация инсталляции вашего сервера Mattemost, число его реплик и выделенных ресурсов. Шаманство какое-то, но на практике удалось выяснить следующее:

• 100users – 1 реплика Mattermost, Master MySQL;
• 1000users – 2 реплики Mattermost, Master/Slave MySQL.

Переопределение ресурсов и лимитов, которые упоминаются, невозможно, для каждого значения параметра "size" это свои цифры, а отсутствие значение "size" – это, как выше написано, – "5000users".

Тут следует отметить одно из ограничений бесплатной версии Mattermost – нет HA-режима, соответственно вариант работы в несколько реплик отпадает сам собой, при старте сервер ругается, что у него нет лицензии для работы в таком режиме, но вы всё ещё можете это попробовать. У Mattermost нет external кэша в виде какого-нибудь Redis, поддержка кластерного режима реализована внутри сервера, реплики обмениваются данными по gossip-протолоку, без этой связки можно ловить странные вещи – сохранение конфигурации через раз, некорректная загрузка файлов. Разработчики заботливо оставили интерфейс, по которому реализуется поддержка кластерного режима, да и вообще, поговаривают, до какого-то времени собрать Enterprise версию можно было самостоятельно. Поверим на слово.

Возвращаясь к теме конфигурации и тексту документа, с которого все начинается:

This document describes installing and deploying a production-ready Mattermost system on a Kubernetes cluster using the Mattermost Kubernetes operator.

Ниже можно заметить:

It is possible to manage MySQL database and MinIO file store using the Mattermost Operator, but it is not recommended for production usage.

После всех тестов мы решили перенести файловое хранилище в Yandex Object Storage, а MySQL в Managed Service for MySQL, всё в том же Yandex Cloud. Для хранилища создается отдельный секрет:

---
apiVersion: v1
kind: Secret
metadata:
  name: mattermost-filestore
type: Opaque
data:
  accesskey: ...
  secretkey: ...

В переменных окружения сервера задается следующее (все эти настройки можно так же определить в Системной консоли):

• MM_FILESETTINGS_DRIVERNAME – amazons3
• MM_FILESETTINGS_AMAZONS3BUCKET – имя бакета
• MM_FILESETTINGS_AMAZONS3ENDPOINT – storage.yandexcloud.net
• MM_FILESETTINGS_AMAZONS3SSL – true
• MM_FILESETTINGS_AMAZONS3SSE – true
• MM_FILESETTINGS_AMAZONS3TRACE – true (если нужны отладочные логи)
• MM_FILESETTINGS_AMAZONS3REGION – ru-central1

Для базы, по статье, следует создать секрет и задать в нем некоторые параметры, все они содержать реквизиты подключения к базе, но используются в разных частях системы, поэтому записываются немного по-разному, такой вот поворот:

• DB_CONNECTION_CHECK_URL – http-ссылка, в формате http://hostname:3306, резвизиты не передаются, используется в init-container'е, чтобы определить, что база доступна;
• DB_CONNECTION_STRING – строка подключения в формате mysql://user:password@tcp(hostname:3306)/mattermost?charset=utf8mb4,utf8&writeTimeout=30s, в переменных передается серверу как MM_CONFIG;
• MM_SQLSETTINGS_DATASOURCEREPLICAS – строка подключения в формате user:password@tcp(hostname:3306)/mattermost?readTimeout=30s&writeTimeout=30s.

Последнее, предположительно, используется в кластерном режиме, в документации упоминаний об этом нет, но если запускать сервер в 1 реплику с внешней базой – init container успешно отработает, а дальше начинается проверка соединения внутри сервера Mattermost, который пытается подключиться куда-то не туда, куда нам нужно. Опытным путем выяснилось, что нужно задать еще один параметр:

• MM_SQLSETTINGS_DATASOURCE – строка подключения в формате user:password@tcp(hostname:3306)/mattermost?readTimeout=30s&writeTimeout=30s.

Настройка

Треды

В настройщее время (я все эксперименты проводил на Mattermost 6.5, хотя уже вышла 6.6), треды как вложенные обсуждения – это экспериментальная фитча:

Чтобы включить этот функционал, нужно включить Automatically Follow Threads, сделать это можно через переменную окружения:

- name: MM_SERVICESETTINGS_THREADAUTOFOLLOW
  value: "true"

После того, как значение будет задано, тип тредов можно будет переключить.

Пуши

По умолчанию, это отключено, можно включить публичный сервис для пушей Mattermost, насколько стабилен и какие ограничения – не выяснялось.

Звонки

Функционал звонков реализован в виде плагина, который ставится из маркетплейса Mattermost:

Больши информации можно найти здесь, функционал в бете, но нам удалось даже созвониться.

Интеграции

Если вы использовали Slack для получения каких-то простых уведомления, то всё нормально, этот функционал сохранен, если только вы не используете какие-то диковиные штуки внутри:

Для создания типово Slack Webhook ссылки, переходите из меню в Интеграции, далее нажимаете на здоровенную кнопку Входящие вебхуки, создаете вебхук, копируете ссылку, используете вместо то, что была раньше.

По умолчанию сообщения будут создаваться от имени человека, который эту интеграцию создал, аватарка так же будет от него, чтобы поменять подобное поведение переходим в Системную консоль и в разделе настроек интеграции задаете:

По итогу получается что-то такое:

SAML, LDAP, OpenID

Ничего этого нет, есть только аутентификация через Gitlab.

Полнотекстовый поиск

Поддержка ElasticSearch есть только в Enterprise версии, в бесплатной по умолчанию используется полнотекстовый поиск по базе, либо предлагается альтернатива в виде поискового движка Bleve, который встроен в сервер (пару раз работа этого движка приводила к падению Mattermost).

Заключение

Да, в Mattermost многое работает странно, да, часть интеграций отвалилась и нужно переделывать, да, там все выглядеть страшно, но всё же меня радует, что людям предоставлен функционал плагинов, а значит ждем от всех поуехавших функционал, который доведет Mattermost до готового решения коммуникации в компании.

P.S.

В Mattermost есть плагин – генератор мемов...

Сбор данных будет осуществляться через telegraf и, с помощью него же, отдаваться в виде метрик формата Prometheus.

Для начала потребуется получить API-токен для получения данных из Qrator, для этого переходим в раздел с ключами в личном кабинете и выпускаем токен.

Далее переходим в список доменов и сохраняем их идентификаторы, по ним будет обращение к методам API:

Здесь 11111 и 11222 – как раз те самые идентификаторы доменов, теперь описываем конфигурацию для телеграфа:

[[inputs.http]]
	name_prefix = "qrator_blocks_"
	method = "POST"
	urls = [
		"https://api.qrator.net/request/domain/11111",
		"https://api.qrator.net/request/domain/11222",
	]
	headers = {"X-Qrator-Auth" = "${QRATOR_API_KEY}", "Content-Type" = "application/json"}
	body = '{"method":"statistics_current_blocks"}'
	data_format = "json"
	timeout = "30s"

[[inputs.http]]
	name_prefix = "qrator_http_"
	method = "POST"
	urls = [
		"https://api.qrator.net/request/domain/11111",
		"https://api.qrator.net/request/domain/11222",
	]
	headers = {"X-Qrator-Auth" = "${QRATOR_API_KEY}", "Content-Type" = "application/json"}
	body = '{"method":"statistics_current_http"}'
	data_format = "json"
	timeout = "30s"

[[inputs.http]]
	name_prefix = "qrator_ip_"
	method = "POST"
	urls = [
		"https://api.qrator.net/request/domain/11111",
		"https://api.qrator.net/request/domain/11222",
	]
	headers = {"X-Qrator-Auth" = "${QRATOR_API_KEY}", "Content-Type" = "application/json"}
	body = '{"method":"statistics_current_ip"}'
	data_format = "json"
	timeout = "30s"

[[inputs.http]]
	name_prefix = "qrator_locations_"
	method = "POST"
	urls = [
		"https://api.qrator.net/request/domain/11111",
		"https://api.qrator.net/request/domain/11222",
	]
	headers = {"X-Qrator-Auth" = "${QRATOR_API_KEY}", "Content-Type" = "application/json"}
	body = '{"method":"statistics_current_locations"}'
	data_format = "json"
	timeout = "30s"

[[outputs.prometheus_client]]
	listen = ":9273"

В поле urls передается массив из ссылок на ресурсы (включают в себя идентификаторы доменов), в поле body – метод, а для передачи API-ключа используется переменная окружения QRATOR_API_KEY, нам нужно будет её дополнительно передать телеграфу, чтобы не хранять напрямую в конфигурации.

Осталось только запустить. Минифицированный Deployment для kustomize может выглядеть так:

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: qrator-exporter
spec:
  template:
    spec:
      containers:
        - name: telegraf
          image: telegraf:1.21.4
          ports:
            - name: metrics
              containerPort: 9273
          env:
            - name: QRATOR_API_KEY
              value: CHANGE_ME
          securityContext:
            runAsUser: 1001
            capabilities:
              drop:
                - ALL
            readOnlyRootFilesystem: true
            runAsNonRoot: true
          volumeMounts:
            - name: config
              mountPath: "/etc/telegraf"
              readOnly: true
            - name: cache
              mountPath: "/.cache"
      volumes:
        - name: config
          secret:
            secretName: qrator-exporter
        - name: cache
          emptyDir: {}

Сам секрет qrator-exporter описывается в файле kustomization.yaml, например:

secretGenerator:
  - name: qrator-exporter
    files:
      - config/telegraf.conf

Не забываем описать сервис и Service Monitor:

---
apiVersion: v1
kind: Service
metadata:
  name: qrator-exporter
spec:
  type: ClusterIP
  ports:
    - name: metrics
      port: 9273
      targetPort: 9273
---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: qrator-exporter
spec:
  endpoints:
    - interval: 30s
      path: /metrics
      port: metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: qrator-exporter
      app.kubernetes.io/component: service
      app.kubernetes.io/part-of: monitoring
  namespaceSelector:
    any: true

Селектор по лейблам, которые заданы в kustomization.yaml:

---
commonLabels:
  app.kubernetes.io/name: qrator-exporter
  app.kubernetes.io/component: service
  app.kubernetes.io/part-of: monitoring

После этого мы начнем собирать метрики, однако в качестве url в метриках будет непонятный адрес ресурса Qrator, поэтому добавляем релейбл:

---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: qrator-exporter
spec:
  endpoints:
    - interval: 30s
      path: /metrics
      port: metrics
      metricRelabelings:
        - sourceLabels: ["url"]
          regex: https://api.qrator.net/request/domain/(.+)
          replacement: $1
          targetLabel: domain_id
          action: replace
        - sourceLabels: ["url"]
          regex: https://api.qrator.net/request/domain/11111
          replacement: domain.ru
          targetLabel: domain_name
          action: replace
        - sourceLabels: ["url"]
          regex: https://api.qrator.net/request/domain/11222
          replacement: super-domain.ru
          targetLabel: domain_name
          action: replace
  selector:
    matchLabels:
      app.kubernetes.io/name: qrator-exporter
      app.kubernetes.io/component: service
      app.kubernetes.io/part-of: monitoring
  namespaceSelector:
    any: true

Теперь в domain_name будет читаемый параметр, который можно использовать для селекторов в Grafana или в алертах.

Примеры алертов для Prometheus Operator:

---
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: qrator-exporter
  labels:
    app: prometheus-operator
    release: "monitoring"
spec:
  groups:
    - name: QratorExporter
      rules:
        - alert: QratorHighBandwidthInput
          expr: qrator_ip_http_result_bandwidth_input > 5000000
          for: 5m
          labels:
            severity: warning
            domain: "{{ $labels.domain_name }}"
          annotations:
            summary: Большой входящий трафик на {{ $labels.domain_name }}
            description: На домене {{ $labels.domain_name }} в Qrator фиксируется повышенный входящий трафик, более 5Мбит/с
        - alert: QratorHighBandwidthOutput
          expr: qrator_ip_http_result_bandwidth_input > 5000000
          for: 5m
          labels:
            severity: warning
            domain: "{{ $labels.domain_name }}"
          annotations:
            summary: Большой исходящий трафик на {{ $labels.domain_name }}
            description: На домене {{ $labels.domain_name }} в Qrator фиксируется повышенный исходящий трафик, более 5Мбит/с
        - alert: QratorHigh5xxRate
          expr: qrator_http_http_result_errors_total >= 0.1
          for: 5m
          labels:
            severity: critical
            domain: "{{ $labels.domain_name }}"
          annotations:
            summary: В Qrator на {{ $labels.domain_name }} фиксируется рост числа ошибок
            description: В Qrator на домене {{ $labels.domain_name }} в течении 5 минут фиксируется рост числа 50x ошибок

Перед добавлением алертов стандартная рекомендация – пособирайте некоторые время метрики, чтобы определить для себя граничные значения, удобнее всего за этим наблюдать в Grafana, поэтому в качестве базового можно взять этот дашборд:

{
  "annotations": {
    "list": [
      {
        "builtIn": 1,
        "datasource": "-- Grafana --",
        "enable": true,
        "hide": true,
        "iconColor": "rgba(0, 211, 255, 1)",
        "name": "Annotations & Alerts",
        "target": {
          "limit": 100,
          "matchAny": false,
          "tags": [],
          "type": "dashboard"
        },
        "type": "dashboard"
      }
    ]
  },
  "editable": true,
  "fiscalYearStartMonth": 0,
  "gnetId": null,
  "graphTooltip": 1,
  "id": 106,
  "iteration": 1647973063127,
  "links": [],
  "liveNow": false,
  "panels": [
    {
      "datasource": null,
      "description": "Alerts:\n\n* QratorHighBandwidthInput\n",
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 0,
            "gradientMode": "none",
            "hideFrom": {
              "legend": false,
              "tooltip": false,
              "viz": false
            },
            "lineInterpolation": "linear",
            "lineWidth": 1,
            "pointSize": 5,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "auto",
            "spanNulls": false,
            "stacking": {
              "group": "A",
              "mode": "none"
            },
            "thresholdsStyle": {
              "mode": "off"
            }
          },
          "mappings": [],
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          },
          "unit": "bits"
        },
        "overrides": []
      },
      "gridPos": {
        "h": 9,
        "w": 12,
        "x": 0,
        "y": 0
      },
      "id": 2,
      "options": {
        "legend": {
          "calcs": [
            "max"
          ],
          "displayMode": "list",
          "placement": "bottom"
        },
        "tooltip": {
          "mode": "multi"
        }
      },
      "targets": [
        {
          "exemplar": true,
          "expr": "sum(qrator_ip_http_result_bandwidth_input{domain_name=\"$domain\"})",
          "interval": "",
          "legendFormat": "input",
          "refId": "A"
        },
        {
          "exemplar": true,
          "expr": "sum(qrator_ip_http_result_bandwidth_output{domain_name=\"$domain\"})",
          "hide": false,
          "interval": "",
          "legendFormat": "output",
          "refId": "B"
        }
      ],
      "title": "Traffic",
      "type": "timeseries"
    },
    {
      "datasource": null,
      "description": "Alerts:\n\n* QratorHigh5xxRate",
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 0,
            "gradientMode": "none",
            "hideFrom": {
              "legend": false,
              "tooltip": false,
              "viz": false
            },
            "lineInterpolation": "linear",
            "lineWidth": 1,
            "pointSize": 5,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "auto",
            "spanNulls": false,
            "stacking": {
              "group": "A",
              "mode": "none"
            },
            "thresholdsStyle": {
              "mode": "off"
            }
          },
          "decimals": 2,
          "mappings": [],
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          },
          "unit": "reqps"
        },
        "overrides": []
      },
      "gridPos": {
        "h": 9,
        "w": 12,
        "x": 12,
        "y": 0
      },
      "id": 4,
      "options": {
        "legend": {
          "calcs": [],
          "displayMode": "list",
          "placement": "bottom"
        },
        "tooltip": {
          "mode": "multi"
        }
      },
      "targets": [
        {
          "exemplar": true,
          "expr": "sum({__name__=~\"qrator_http_http_result_errors_.+\", domain_name=\"$domain\"})by(__name__)",
          "interval": "",
          "legendFormat": "{{ __name__ }}",
          "refId": "A"
        }
      ],
      "title": "Errors",
      "transformations": [
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_errors_(.*)",
            "renamePattern": "$1"
          }
        }
      ],
      "type": "timeseries"
    },
    {
      "datasource": null,
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 0,
            "gradientMode": "none",
            "hideFrom": {
              "legend": false,
              "tooltip": false,
              "viz": false
            },
            "lineInterpolation": "linear",
            "lineWidth": 1,
            "pointSize": 5,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "auto",
            "spanNulls": false,
            "stacking": {
              "group": "A",
              "mode": "none"
            },
            "thresholdsStyle": {
              "mode": "off"
            }
          },
          "mappings": [],
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          },
          "unit": "reqps"
        },
        "overrides": []
      },
      "gridPos": {
        "h": 9,
        "w": 12,
        "x": 0,
        "y": 9
      },
      "id": 7,
      "options": {
        "legend": {
          "calcs": [],
          "displayMode": "list",
          "placement": "bottom"
        },
        "tooltip": {
          "mode": "single"
        }
      },
      "targets": [
        {
          "exemplar": true,
          "expr": "sum(qrator_http_http_result_requests{domain_name=\"$domain\"})",
          "interval": "",
          "legendFormat": "total",
          "refId": "A"
        }
      ],
      "title": "Requests",
      "transformations": [
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0000_0(.*)",
            "renamePattern": "Less $1 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0(.*)_0(.*)",
            "renamePattern": "$1 - $2 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0(.*)_(.*)",
            "renamePattern": "$1 - $2 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_1000_1500",
            "renamePattern": "1 - 1.5 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_1500_2000",
            "renamePattern": "1.5 - 2 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_2000_5000",
            "renamePattern": "2 - 5 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_5000_inf",
            "renamePattern": "More 5 s"
          }
        }
      ],
      "type": "timeseries"
    },
    {
      "datasource": null,
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 0,
            "gradientMode": "none",
            "hideFrom": {
              "legend": false,
              "tooltip": false,
              "viz": false
            },
            "lineInterpolation": "linear",
            "lineWidth": 1,
            "pointSize": 5,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "auto",
            "spanNulls": false,
            "stacking": {
              "group": "A",
              "mode": "none"
            },
            "thresholdsStyle": {
              "mode": "off"
            }
          },
          "mappings": [],
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          },
          "unit": "reqps"
        },
        "overrides": []
      },
      "gridPos": {
        "h": 9,
        "w": 12,
        "x": 12,
        "y": 9
      },
      "id": 10,
      "options": {
        "legend": {
          "calcs": [],
          "displayMode": "list",
          "placement": "bottom"
        },
        "tooltip": {
          "mode": "single"
        }
      },
      "targets": [
        {
          "exemplar": true,
          "expr": "sum({__name__=~\"qrator_http_http_result_responses_.+\", domain_name=\"$domain\"})by(__name__)",
          "interval": "",
          "legendFormat": "{{ __name__ }}",
          "refId": "A"
        }
      ],
      "title": "Requests by response time",
      "transformations": [
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0000_0(.*)",
            "renamePattern": "Less $1 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0(.*)_0(.*)",
            "renamePattern": "$1 - $2 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0(.*)_(.*)",
            "renamePattern": "$1 - $2 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_1000_1500",
            "renamePattern": "1 - 1.5 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_1500_2000",
            "renamePattern": "1.5 - 2 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_2000_5000",
            "renamePattern": "2 - 5 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_5000_inf",
            "renamePattern": "More 5 s"
          }
        }
      ],
      "type": "timeseries"
    },
    {
      "datasource": null,
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 0,
            "gradientMode": "none",
            "hideFrom": {
              "legend": false,
              "tooltip": false,
              "viz": false
            },
            "lineInterpolation": "linear",
            "lineWidth": 1,
            "pointSize": 5,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "auto",
            "spanNulls": false,
            "stacking": {
              "group": "A",
              "mode": "none"
            },
            "thresholdsStyle": {
              "mode": "off"
            }
          },
          "mappings": [],
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          },
          "unit": "pps"
        },
        "overrides": []
      },
      "gridPos": {
        "h": 9,
        "w": 12,
        "x": 0,
        "y": 18
      },
      "id": 11,
      "options": {
        "legend": {
          "calcs": [],
          "displayMode": "list",
          "placement": "bottom"
        },
        "tooltip": {
          "mode": "multi"
        }
      },
      "targets": [
        {
          "exemplar": true,
          "expr": "sum(qrator_ip_http_result_packets_input{domain_name=\"$domain\"})",
          "interval": "",
          "legendFormat": "input",
          "refId": "A"
        },
        {
          "exemplar": true,
          "expr": "sum(qrator_ip_http_result_packets_output{domain_name=\"$domain\"})",
          "hide": false,
          "interval": "",
          "legendFormat": "output",
          "refId": "B"
        }
      ],
      "title": "Packets",
      "transformations": [
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0000_0(.*)",
            "renamePattern": "Less $1 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0(.*)_0(.*)",
            "renamePattern": "$1 - $2 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_0(.*)_(.*)",
            "renamePattern": "$1 - $2 ms"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_1000_1500",
            "renamePattern": "1 - 1.5 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_1500_2000",
            "renamePattern": "1.5 - 2 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_2000_5000",
            "renamePattern": "2 - 5 s"
          }
        },
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_http_http_result_responses_5000_inf",
            "renamePattern": "More 5 s"
          }
        }
      ],
      "type": "timeseries"
    },
    {
      "datasource": null,
      "fieldConfig": {
        "defaults": {
          "color": {
            "mode": "palette-classic"
          },
          "custom": {
            "axisLabel": "",
            "axisPlacement": "auto",
            "barAlignment": 0,
            "drawStyle": "line",
            "fillOpacity": 0,
            "gradientMode": "none",
            "hideFrom": {
              "legend": false,
              "tooltip": false,
              "viz": false
            },
            "lineInterpolation": "linear",
            "lineWidth": 1,
            "pointSize": 5,
            "scaleDistribution": {
              "type": "linear"
            },
            "showPoints": "auto",
            "spanNulls": false,
            "stacking": {
              "group": "A",
              "mode": "none"
            },
            "thresholdsStyle": {
              "mode": "off"
            }
          },
          "mappings": [],
          "thresholds": {
            "mode": "absolute",
            "steps": [
              {
                "color": "green",
                "value": null
              },
              {
                "color": "red",
                "value": 80
              }
            ]
          }
        },
        "overrides": []
      },
      "gridPos": {
        "h": 9,
        "w": 12,
        "x": 12,
        "y": 18
      },
      "id": 5,
      "options": {
        "legend": {
          "calcs": [
            "max",
            "last"
          ],
          "displayMode": "table",
          "placement": "right"
        },
        "tooltip": {
          "mode": "single"
        }
      },
      "targets": [
        {
          "exemplar": true,
          "expr": "sum({__name__=~\"qrator_locations_http_result_locations_.+\", domain_name=\"$domain\"}>0)by(__name__)",
          "interval": "",
          "legendFormat": "{{ __name__ }}",
          "refId": "A"
        }
      ],
      "title": "Black list",
      "transformations": [
        {
          "id": "renameByRegex",
          "options": {
            "regex": "qrator_locations_http_result_locations_(.*)",
            "renamePattern": "$1"
          }
        }
      ],
      "type": "timeseries"
    }
  ],
  "schemaVersion": 32,
  "style": "dark",
  "tags": [
    "WIP"
  ],
  "templating": {
    "list": [
      {
        "allValue": null,
        "current": {
          "selected": false,
          "text": "qlean.ru",
          "value": "qlean.ru"
        },
        "datasource": null,
        "definition": "label_values(qrator_http_http_id, domain_name)",
        "description": null,
        "error": null,
        "hide": 0,
        "includeAll": false,
        "label": "Domain",
        "multi": false,
        "name": "domain",
        "options": [],
        "query": {
          "query": "label_values(qrator_http_http_id, domain_name)",
          "refId": "StandardVariableQuery"
        },
        "refresh": 1,
        "regex": "",
        "skipUrlSync": false,
        "sort": 1,
        "type": "query"
      }
    ]
  },
  "time": {
    "from": "now-12h",
    "to": "now"
  },
  "timepicker": {},
  "timezone": "",
  "title": "Qrator",
  "uid": "gM2arMHnk",
  "version": 23
}

TODO: Перенести дашборд в https://grafana.com/grafana/dashboards/.

Суровая реальность такова – заводится вот такая вот структура (крутите по горизонтали, там 500+ символов):

owner_team:
  - &owner_team_by_labels_exported_namespace |
      {{if (match "finance" $labels.exported_namespace)}}finance_duty{{else if (match "storage|warehouse" $labels.exported_namespace)}}warehouse_duty{{else if (match "sso" $labels.exported_namespace)}}sso_duty{{else if (match "crm|bff-self-service-form|bff-offers" $labels.exported_namespace)}}crm_duty{{else if (match "loyalty-bonus" $labels.exported_namespace)}}finance_duty{{else if (match "loyalty" $labels.exported_namespace)}}crm_duty{{else if (match "communications-gateway|sms-sender|contractor-app-bff" $labels.exported_namespace)}}infogate_duty{{else}}-{{end -}}

В массиве, на самом деле, множество записей, чтобы определять команду по тому или иному признаку. После этого в лейблы алерта добавляем признак команды:

owner_team: *owner_team_by_labels_exported_namespace

В конфигурации ресивера включаем линк по именам:

slack_configs:
  - channel: "#alerts"
    link_names: true

В качестве шаблона футера определяем следующее:

{{ define "slack.default.footer" }}{{ if .CommonLabels.owner_team }}{{ if not (eq .CommonLabels.owner_team "-") }}Команда: @{{ .CommonLabels.owner_team }}{{ end }}{{ end }}{{ end }}

Easy-peasy.

Валидация входных параметров

По аналогии с kubeval хотелось бы иметь какой-то инструмент, который способен валидировать файлы на соответствие нашей собственной схеме, сам kubeval использует схемы в JSON:

{
  "description": "Binding ties one object to another; for example, a pod is bound to a node by a scheduler. Deprecated in 1.7, please use the bindings subresource of pods instead.",
  "properties": {
    "apiVersion": {
      "description": "APIVersion defines the versioned schema of this representation of an object. Servers should convert recognized schemas to the latest internal value, and may reject unrecognized values. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#resources",
      "type": [
        "string",
        "null"
      ]
    },
    "kind": {
      "description": "Kind is a string value representing the REST resource this object represents. Servers may infer this from the endpoint the client submits requests to. Cannot be updated. In CamelCase. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds",
      "type": [
        "string",
        "null"
      ],
      "enum": [
        "Binding"
      ]
    },
    "metadata": {
      "$ref": "https://kubernetesjsonschema.dev/master/_definitions.json#/definitions/io.k8s.apimachinery.pkg.apis.meta.v1.ObjectMeta",
      "description": "Standard object's metadata. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#metadata"
    },
    "target": {
      "$ref": "https://kubernetesjsonschema.dev/master/_definitions.json#/definitions/io.k8s.api.core.v1.ObjectReference",
      "description": "The target object that you want to bind to the standard object."
    }
  },
  "required": [
    "target"
  ],
  "type": "object",
  "x-kubernetes-group-version-kind": [
    {
      "group": "",
      "kind": "Binding",
      "version": "v1"
    }
  ],
  "$schema": "http://json-schema.org/schema#"
}

Не самый удобный формат, другой нюанс – kubeval ориентируется по полям kind и apiVersion для получения схем:

// We haven't cached this schema yet; look for one that works
primarySchemaBaseURL := determineSchemaBaseURL(config)
primarySchemaRef := determineSchemaURL(primarySchemaBaseURL, resource.Kind, resource.APIVersion, config)
schemaRefs := []string{primarySchemaRef}

for _, additionalSchemaURLs := range config.AdditionalSchemaLocations {
  additionalSchemaRef := determineSchemaURL(additionalSchemaURLs, resource.Kind, resource.APIVersion, config)
  schemaRefs = append(schemaRefs, additionalSchemaRef)
}

Решаемо. Так может не будем придумывать велосипедов, а попробуем воспользоваться готовым инструментом?

Пробуем запустить валидацию values-файла из репозитория с кодом сервиса как есть:

% kubeval values.yaml
ERR  - values.yaml: Missing 'kind' key

Добавляем kind и apiVersion, и так знаем, что они нужны:

---
apiVersion: qlean/v1
kind: values

# Базовые настройки чарта
app-template:
  app:
    name: web-widget-navbar
    component: frontend
    project: platform

Проверяем еще раз:

% kubeval values.yaml
..https://kubernetesjsonschema.dev/master-standalone/values-qlean-v1.json: Could not read schema from HTTP, response status is 404 Not Found

Для переопределения адреса источника схем в kubeval есть параметр --schema-location (либо переменная окружения KUBEVAL_SCHEMA_LOCATION), в качестве значения можно задавать как ссылку, так и локальный каталог:

export KUBEVAL_SCHEMA_LOCATION=file://./schemas

Запускаем:

% kubeval values.yaml                            
..open ./schemas/master-standalone/values-qlean-v1.json: no such file or directory

В качестве дочернего каталога выступает значение флага --kubernetes-version (по умолчанию master) и префикс standalone. Создаем в нужном каталоге файл values-qlean-v1.json со следующим тестовым содержимым:

{
  "title": "Helm Values",
  "additionalProperties": false
}

Здесь мы определяем additionalProperties, который говорит, что на текущем уровне (в корне) запрещены любые неописанные поля, проверяем:

% kubeval values.yaml 
..kind: Additional property kind is not allowed
..apiVersion: Additional property apiVersion is not allowed
..app-template: Additional property app-template is not allowed

Обновляем схему:

{
  "title": "Helm Values",
  "additionalProperties": false,
  "properties": {
    "apiVersion": {
      "type": "string"
    },
    "kind": {
      "type": "string"
    },
    "app-template": {
      "type": "object"
    }
  }
}

Проверяем:

% kubeval values.yaml
PASS - values.yaml contains a valid values (unknown)

Ну, а далее идем изучать https://json-schema.org и, если хочется, схемы ресурсов Kubernetes, и формируем свою собственную схему, на основе которой будут проверяться пользовательские настройки чарта. Ниже несколько примеров из реальной жизни.

1. Поле `app` должно содержать ключ-значение, есть обязательные ключи, значения должны быть строкой:

"app": {
  "type": "object",
  "additionalProperties": {
    "type": "string"
  },
  "required": [
    "name",
    "component",
    "project"
  ]
}

2. Поле `image` должно содержать два параметра – repository и tag, и больше никаких других:

"image": {
  "type": "object",
  "additionalProperties": false,
  "properties": {
    "repository": {
      "type": "string"
    },
    "tag": {
      "type": "string"
    }
  }
}

3. Поле `annotations` должно содержать ключ-значение, но есть ключи, которые использовать нельзя:

"annotations": {
  "type": "object",
  "properties": {
    "pltf_ttl": false,
    "ci_project_id": false
  },
  "additionalProperties": {
    "type": "string"
  }
}

4. Значение поля `type` должно быть одним из допустимых:

"type": {
  "type": "string",
  "enum": [
    "http",
    "app"
  ]
}

5. Значение `сount` должно быть целым числом и не меньше нуля:

"сount": {
  "type": "integer",
  "minimum": 0
}

6. Поле `for` должно содержать строку в формате duration:

"for": {
  "type": "string",
  "format": "duration"
}

JSON-формат не так удобен для чтения, по сравнению с HCL или YAML, поэтому можно задуматься о том, чтобы конвертировать из подходящего формата в JSON при сборке образа.

Чем детальнее будет описана схема, тем меньше возможностей сделать что-то не так, а само внедрение валидации позволит с меньшими трудозатратами мигрировать на новый формат в дальнейшем.

Со звездочкой

Если стойкое желание сделать свой велосипед к этому моменту сохранилось, полезным будет посмотреть в сторону имплементации JSON Schema на Go, пакет позволяет, в числе прочего, описывать собственные форматы данных, например, для крона может выглядеть так:

package main

import "github.com/gorhill/cronexpr"

type CronFormat struct{}

func init() {
	gojsonschema.FormatCheckers.Add("cron", CronFormat{})
}

func (c CronFormat) IsFormat(cron interface{}) bool {
	cronString, ok := cron.(string)
	if !ok {
		return false
	}
	_, err := cronexpr.Parse(cronString)
	return err == nil
}

С последующим применением в таком виде:

"cron": {
  "type": "string",
  "format": "cron"
}

Ещё один плюс – чтение схем с диска можно описать самому и использовать любой формат, вот, например, YAML:

var bodySchema map[string]interface{}
_ = yaml.Unmarshal(schemaBytes, &bodySchema)
schemaLoader := gojsonschema.NewGoLoader(bodySchema)
return gojsonschema.NewSchema(schemaLoader)

Детали реализации можно посмотреть в коде, он открыт.

Полезные ссылки

1. https://www.kubeval.com
2. https://json-schema.org
3. https://json-schema.org/draft/2020-12/json-schema-validation.html
4. https://github.com/instrumenta/kubernetes-json-schema
5. https://json-schema-everywhere.github.io/yaml