Reports about the battle of CI and CD, orchestration and secrets of OpenStack
On September 27, we conducted the second ап Orcs here ’mitap - about orchestration, automation and field application of CI / CD. In this post full video and timecode with important places from three reports.
Topics are:
- Environment as a Service - about the operation and configuration secrets of OpenStack
- Pod, Cloud and Two Smoking Hubs - about scaling Selenium farms
- CI vs CD: the arms race - about how CI and CD “fought” Yandex.Money
Environment as a Service
Alexander Prizov and Maxim Ogryzkov from Yandex.Money told about the features of operation and orchestration of high-loaded OpenStack installations for different types of test environment.
About our approach
0:20 — Что такое Environment as as Service?
1:00 — Как подготовить инфраструктуру к изменениям?
1:30 — Что делать со старыми тестовыми стендами?
3:55 — Требования к новым тестовым стендам
4:30 — Почему мы выбрали OpenStack? Немного о Murano
5:50 — Про наш подход к автоматизации создания тестовых схем
7:30 — Пример декларативного описания выкладки
8:20 — Про Jenkinks, Grafana, kibana и отслеживание обновлений
9:10 — К каким цифрам мы пришли?
OpenStack и highload
9:40 — Что случилось, когда мы подняли 50 виртуальных машин одновременно?
11:25 — Нужно разносить выполнение cron-задач. О работе планировщика
Neutron и highload
13:45 — Мы используем dual stack. Что это такое, и почему там не нужен NAT?
15:33 — Бывает, что функциональности инструмента не хватает. Что можно сделать?
18:00 — Много разных сервисов, которые затрагивают работу друг друга. Как быть?
22:00 — Пишите код как документацию. Как мы нашли настройку, которой нигде нет
23:35 — Решение «no response to inactivity probe after 10 seconds, disconnecting»
25:31 — Как настроить размер mac-таблицы
26:00 — Как включить rx-flow-hash
26:37 — О глобальных и персональных правилах безопасности
Pod, Cloud and Two Smoking Hubs
Alexey Boyko from Wrike told how they saved time and money on scaling a Selenium farm by using Google Cloud Engine and Kubernetes.
Предыстория
0:15 — Что такое Wrike и где там Selenium
2:20 — Что было у Wrike, когда появилась задача масштабирования?
3:20 — Очереди в браузеры, отказы Selenium Hub и медленный пак регрессионных тестов
4:50 — Требования к масштабированию и способы их реализации
7:30 — Почему выбрали Google Cloud: kubernetes, короткоживущие ноды и экономия?
8:50 — Почему выбрали kubernetes?
Про то, как смешать коктейль из технологий
9:50 — Про autoscaling и зачем нужен?
12:00 — Как работает автомасштабирование
14:40 — Preemptible nodes — низкая цена и опасные ограничения
18:00 — Зачем нужен балансировщик нагрузки?
19:00 — Как всё это работает вместе. TeamCity.
21:00 — Роль TeamCity в процессе
21:30 — Подробное описание процесса
23:40 — Что получили в итоге?
CI vs CD: arms race
Vasily Sozykin (ex-Yandex.Money), Dmitry Zinin (Yandex.Money)
We present the description of the report from the authors without changes.
War. The essence of the war never changes, but the release cycle, automation and microservices - as much as you like.
Start. It used to be quietly living with releases once a month, but then this fragile world reeled.
Chronicle. When it became forty releases a day, the relationship of development and operation began to heat up. This has resulted in arming the parties, new automation and optimization tools, and symmetrical responses.
Reboot. The parties entered into a peace agreement, and the confrontation is in the past.
Hostage of the war. The civilian population from neighboring departments during the confrontation had not sweet.
At some moments, the microphone could not withstand the charisma of Basil, so a few seconds during the report became quiet.
1:40 — О роли регуляторов в автоматизации финтеха
3:10 — «Релизинг», когда компонентов и разработчиков мало
4:30 — Распределение ролей при релизах
6:40 — Nexus, Gradle, jacoco и мокренькая кисонька
8:50 — Jenkins и два релиза в день
9:30 — Автоматизация интеграционного и нагрузочного тестирования. Зона 21.
10:15 — Дежурный по релизам. Зачем он нужен?
11:10 — Ansible Playbook для релизов
12:20 — Об отмене «релизного комитета». Автоматизация уведомлений
13:30 — Новое распределение ролей при релизах. Два релиза в неделю.
14:30 — И два релизных мастера. А это-то зачем?
16:00 — 20 релизов в день и наш первый бот.
18:00 — Релизы по коммиту. Каждые 30 минут.
19:00 — Многопоточная выкладка со стороны CD
20:30 — Про CI и CD без людей
21:50 — Про будущее релизов еще больше без людей
24:00 — Выводы — от релиза раз в месяц до релиза каждый час.
That's all for today - come to our events to hear everything live, and subscribe to the blog so as not to miss other reports on important topics.