GridGain on Highload: where to talk about distributed DBMS, In-Memory and open source

Создавать новые фичи весело. Но как их протестировать, если ваш продукт — распределенная система, а реальная эксплуатация — это множество ядер и дисков на разных физических серверах, сетевое взаимодействие, отказы оборудования и непредсказуемые действия пользователя?

Расскажем, как происходит тестирование нового функционала Apache Ignite, что мы делаем хорошо, а что не очень:
— почему налегаем на интеграционные тесты, и не очень жалуем unit-ы, mock-и и XP?
— тестирование многопоточных и распределенных алгоритмов
— создание тестового плана и code review
— где мы чаще всего прокалываемся?

Когда-то компания GridGain пожертвовала одноимённый продукт Apache Software Foundation — теперь он известен как Apache Ignite. С тех пор инженеры GridGain сочетают две роли — сотрудников нацеленной на прибыль коммерческой компании, и независимых разработчиков открытого проекта. И конечно же, между этими ролями отношения любви и ненависти. На встрече поговорим о том, как разработка в Open Source помогает и мешает решать задачи бизнеса.

Мы начнем, а вы присоединяйтесь.
Со стороны open source: Дмитрий Павлов, Apache Ignite Community Manager
Со стороны бизнеса: Станислав Лукьянов из GridGain Customer Success

Можно без конца добавлять функционал и исправлять баги в продукте, но всё это не имеет смысла, если новая версия не попадёт к пользователю. И для выпуска новой версии далеко не всегда достаточно всего лишь запустить сборку и тесты. А для выпуск версии — совсем не то же самое, что запуск сборки.

Что делать, если нужно поддерживать много версий продукта? Как сделать так, чтобы переход пользователя с одной версии на другую прошёл без сюрпризов? И при чём здесь open source?

Поговорим о том, какой путь изменения проходят от письма пользователя в customer support до получения им заветной версии с исправлением.

Как бы ни развивались технологии, резервная копия в трудную минуту продолжает сохранять нам нервы, а иногда и работу. Платформа GridGain работает поверх распределенной системы с открытым исходном кодом Apache Ignite, где отсутствует возможность делать бэкапы данных. На сегодняшний день максимальный объем данных в клиентском проде GridGain составляет 200 терабайт на 160 узлах. Данные не только хранятся, но и постоянно модифицируются с обеспечением транзакционных гарантий.

Отсутствие возможности создания бэкапов распределенной системы в подобных масштабах было камнем преткновения для практического использования нашей платформы крупным бизнесом. Из доклада вы узнаете, как нам удалось ликвидировать этот пробел.

Нам пришлось научиться:
— делать бэкап данных, не останавливая работу пользователя;
— делать данные в бэкапе распределенной системы консистентными и транзакционно целостными;
— делать процедуры создания и восстановления бэкапа устойчивыми к изменению топологии с помощью распределенного конечного автомата;
— реализовать инкрементальные бэкапы, занимающие на порядок меньше места;
— восстанавливать старые бэкапы данных, созданные на существенно отличающейся топологии кластера.