DevOps Fest 2020

GitOps, Jenkins X & the Future of CI/CD

CI/CD process has been something your DevOps engineer purpose-built for your team. But with Kubernetes & cloud-native, that’s becoming “legacy.” The rising level of platform abstraction allows all the good practices that the industry has developed over time to be integrated, hidden, and simplified behind just one practice called “GitOps.” That simplified world is what Jenkins X enables.
We will discuss GitOps, Jenkins X, and how that combination drastically simplifies cloud-native web app development. You’ll understand why traditional DevOps is not suitable in a Kubernetes and cloud-native world, explore GitOps principles and discover how they facilitate high-velocity app development.
And finally, Kohsuke will make a fool of himself by talking about the future — now that Jenkins X simplifies the CD process, where is the next frontier?

How to run a global, cloud scale event for 10.000 people

I want to tell you a story, a story about an event that spanned 35 countries, reached 10.000 participants, involved 1.400 websites and databases, raised 8 disruptions on those websites and even caused Azure DevOps outages. In which we reached the limits of the cloud and still were able to spend only half of the budget. I will tell you how not only organize an event on this scale, but also how to automate it; from pipelines to deploy the Azure infrastructure, to the actual event day automation. What did we run into, what did we use and what have we learned.

Scale Your Auditing Events

The Linux Audit daemon is responsible for writing audit records to the disk, which you can then access with ausearch and aureport. However, it turned out that parsing and centralizing these records is not as easy as you would hope. Elastic's new Auditbeat fixes this by keeping the original configuration, but ships them to a centralized location where you can easily visualize all events. You can also use Auditbeat to detect changes to critical files, like binaries and configuration files, and identify potential security policy violations.
This talk shows you what can you do to discover changes, events, and potential security breaches as soon as possible on interactive dashboards. Additionally, we are combining Auditd events with logs, which are security relevant, and explore them in Elastic's free SIEM.

TuchaKube - first Ukrainian DevOps/Hosting-platform

TuchaKube - платформа, яка забезпечує автоматизацію CI/CD-процесів та хостинг контейнерів у Kubernetes-кластері. Платформа дозволяє тримати код аплікацій в наданому платформою Git-репозиторії, керувати процесом розробки за допомогою наданого платформою GitLab, автоматично запускати компіляцію, тестування та деполймент в Kubernetes-кластер. Доповідь містить опис принципів роботи платформи та коротку демонстрацію основних функцій.

Advanced Security Operations with Elastic Security

How does your organization detect and respond to cyber threats?
Learn how the latest security capabilities in the Elastic Stack enable interactive exploration and automated analysis, an endpoint protection product to fully combine prevention, detection, and response into a single autonomous agent and unsupervised machine learning to reduce false positives and spot anomalies — all at the speed and scale your security practitioners need to defend your organization.
It doesn’t stop there - this session will also cover how security teams use Canvas, Maps, and other Kibana elements to triage events and perform initial investigations.

Устраиваем DevOps без полномочий: Даже «DevOps-инженер» может помочь

Казалось бы, доклад про устроение DevOps должен быть про настройку Дженкинса, но нет! Этот доклад для тех, кто понимает, что DevOps — это история про культуру, коллаборацию и общение, но не очень представляет, как будучи скромным исполнителем или тимлидом, повлиять на целый энтерпрайз, и сдвинуть организацию в сторону DevOps. Барух расскажет какими методами можно воспользоваться для влияния на stake–holder-ов, что кому говорить, как мотивировать, и как работать с возражениями. Пожалуй, за исключением парапсихологических практик и гипноза (которые не стоит раскрывать неокрепшим умам), на этом докладе будут обозрены все способы влиять, не имея полномочий на благо наступления повсеместного DevOps в индустрии.

How to connect non-connectible: tips, tricks and tears

Сегодня сложно не использовать облачные решение и их возможности в цифровом мире. Конкуренция между облачными провайдерами приводит к высокому качеству и большому выбору услуг, а GCP и AWS являются одними из лидеров на рынке облачных услуг. Они имеют огромные различия в услугах и возможностях, что очень затрудняет ответ на вопрос "Какой же клауд провайдер выбрать?"
Бизнес решения не редко сходится на том, чтобы не выбирать преимущества среди обоих провайдеров, а использовать преимущества обеих (или более) провайдеров с необходимыми сервисами. Так же не стоит забывать про необходимость в bare-metal решениях. Все эти потребности создают огромное количество новых проблем и сложностей для инженеров и архитекторов.
А сегодня мы поговорим с вами о том какие проблемы возникают при деплойменте приложений нашего стека в разные клауды.

Построение процесса CI\CD для opensource проектов

Хотя на первый взгляд кажется, что нет никакой разницы, в действительности проприетарные и opensource проекты имеют большое отличие в реализации CI\CD process. Разные команды к которым добавляются неучтенные котрибьютеры работают в разных временных зонах, разработка ведется в условиях недостаточной коммуникации. За добавление новых изменений отвечает не один или несколько человек, а консорциум. В результате, процесс внесения изменений слишком затягивается, увеличивая потенциальные конфликты не только в файлах но и бизнес логике. Все эти особенности вносят свое влияние на устройство CI\CD для open source project. Как он устроен мы и расскажем в нашем докладе.

GitHub Actions in action

GitHub released its new CI/CD platform called ""Actions"" on the 13th of November this year. Since then it was rumored to be the ""be-all, end-all"" of build automation tools for open source developers.
In this talk we'll look at what GitHub Actions offers us as a maintainer of an OSS project, what benefits (and drawbacks?) it has compared to established platforms such as AppVeyor, TravisCI, CircleCI, and how easy (or hard?) is it to get started today.
We'll also take a look at how you can author your own custom automation scenarios (i.e. actions) to create complex pipelines and see how that helps with maintainability.

DevOps - как архитектура в процессе. Две ключевые связующие системы для разработки и бизнеса.

Сотни вопросов о структуре и процессах, которые ставят и решают архитекторы и практики DevOps на примере решений в своем проекте.
Взаимоопределяющие вопросы архитектуры, DevOps, бизнеса и разработки.
Взрыв сложности - представьте, что вместо простого gmail подобного почтового SPA вам нужно построить и развивать новый sendmail на сервере + thunderbird для клиентов (desktop, мобильную и веб версию) по SAAS multi tenant модели.

CI/CD for AWS Lambdas with Serverless framework and Gitlab-CI

Доклад рассказывает, как оптимизировать и автоматизировать процесс активной разработки и деплоймента serverless приложений/микросервисов. Сравниваются разные подходы в разворачивании serverless стека на AWS (API GW + Lambda), В процессе презентации я поясню, почему мы выбрали Gitlab-Ci, а не Jenkins ,как CI/CD движок, почему мы выбрали Serverless Framework, а не AWS SAM, как способ разворачивания Serverless приложений. В презентации я покажу, как легко с помощью данного технического решения описывать комплексные задачи, их мониторинг, алертинг, обеспечивать безопасность. Расскажу о проблемах, с которыми мы столкнулись (у нас больше 130 API GWы и 600 Lamdas) за последние 2 года, и какие планы на модернизацию текущего решения.

Локально распределенное окружение разработки программного обеспечения с Kubernetes

Много внимания уделяется реализации CI/CD процессов и всем уже понятно насколько это важно для успешного развития проектов, насколько это ускоряет процесс разработки и упрощает коммуникацию, но есть часть процесса разработки которая часто остается в тени :) . Это настройка окружения в котором работают разработчики и тестировщики локально. Не редко это только документ с рекомендациями … В моем докладе я постараюсь показать существующие проблемы и предложить пути их решения.

Consistent backups of multi-shard MongoDB

It only sounds like a simple thing to make a consistent backup of the database which builds around eventual consistency ideas.
Let's review the current types of backups and their limitations when it comes to sharding. From there we will move into why you can't be consistent with a single node, and how you can take sharded or unsharded consistent backups.

Immutable Infrastructure as Code. True story.

In this talk I’ll explain how we went from classic Pet servers to immutable infrastructure, fully described as code, with Cattle instances. I’ll also share which tools we use and how we evolved our experience with them.

Инфраструктура тестирования в Kubernetes

Сегодня многие сервисы, которые два года назад жили в Docker контейнерах, переезжают в Kubernetes. И инфраструктура тестирования не исключение. В своем докладе я хочу рассказать чем Kubernetes может быть полезен для внутренней инфраструктуры, и как мы используем Kubernetes для организации Selenium-тестирования. Вы узнаете как мы прошли путь от «голого» железа до «кубера», что это дало и какую можно получить экономию. На реальных примерах вы увидите как мы работаем с Kubernetes API, как запускаем Windows в Kubernetes, а также наши «грабли» и best practices.

Let's make it KUL! Kubernetes Ultra Light

Если 2019 год был громким призывом Let's KIK It!
и в индустрии жарко обсуждали стек Kubernetes, Istio и Knative, то 2020 обещает стать годом выхода на сцену больших Telco.
Тенденция быть Smart и 5G-Ready порождает целую нишу вызовов, специальных решений и подходов. Раскрывет новые возможности на базе Kubernetes, IOT, Multiaccess Edge Computing (MEC), Embedded Computing, Serverless.
На границе (Edge) Telco, Automotive и Smart Services для такой трансформаци в телеком индустрии уже требуются специалисты и соответствующий стек.
Предлагаю обсудить современные тенденции в телеком, рассмотреть в действии экосистему KUL: Kubernetes Ultra Light. На основе стека K3S, ультралегкой ServiceMesh Gloo и Serverless системы OpenFaaS, мы продемострируем реальный пример сервиса для SmartCity.

Building Data Streaming Platform with Apache Kafka

Apache Kafka зараз на хайпі. Все більше компаній починають використовувати її, як message bus. Проте Kafka може набагато більше, аніж бути просто транспортом. Її реальна міць і краса розкриваються, коли Kafka стає центральною нервовою системою вашої архітектури. Вона швидка, надійна і доволі гнучка для різних сценаріїв використання.
На цій доповіді Сергій поділитися досвідом побудови data streaming платформи. Ми поговоримо про те, як Kafka працює, як її потрібно конфігурувати і в які халепи можна потрапити, якщо Kafka використовується неоптимально.

Databases on Kubernetes: Why you should care

Developers always expected databases to work out-of-the-box, but historically it is the exact opposite.
With the rise of Kubernetes StatefullSets and CRDs, we started thinking about running databases on it. But why should I do that in the first place? How hard is it? Which are the challenges? Is it production already? All those questions will be answered during a live demo where we will deploy a database, deploy an operator, fail nodes, scale up and down with almost no manual intervention.

Modern CI\CD pipeline with Azure DevOps

Создавайте и тестируйте приложения на любом языке программирования, разворачивайте их в любых облачных провайдерах или локальных средах. Запускайте параллельно на Linux, macOS и Windows, разворачивайте контейнеры на отдельных узлах или в Kubernetes. Все это возможно с помощью одного инструмента - Azure DevOps Services. Он обеспечивает полное покрытие DevOps с помощью одного приложения.
В этом докладе мы рассмотрим решение Microsoft, которое позволяет избежать использования десятков различных инструментов для доставки приложения конечным пользователям

Что делать devops'у если у вас захотели machine learning

Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.

Distributed Tracing for microservices with Jaeger

Зараз, в 2020 році, певно немає таких людей, які не використовують чи не чули про мікросервіси. Складність таких системам полягає не лише в правильному проектуванні на етапі створення і розробки, але і самій експлуатації. У роботі в таких розподілених системах команді неодмінно доведеться зіткнутися з челенджами пошуку “bottlenecks” і відсутністю повної картини комунікації сервісів.
У розподілених системах метрики та логи не завжди дають достатньо інформації для пошуку проблем, оскільки вони продукують дані що відносяться до конкретних компонент системи та не покриває їх взаємодії в цілому. Ця доповідь буде присвячена вирішенню проблем з “observability” та “application performance monitoring” за допомогою підходу “distributed tracing” з Jaeger.

Modern Enterprise Network Architecture in AWS Cloud

При разработке и сопровождении enterprise продуктов в AWS Cloud мы всегда сталкиваемся со сложностями в разработке архитектуры сети, которая будет объединять множество AWS аккаунтов и сервисов и отвечать требованиям высокой доступности, безопасности и regulatory compliance. В данном докладе я хочу поделиться со слушателями своим опытом и привести примеры готовых шаблонов масштабируемой, безопасной архитектуры между несколькими учетными записями

Infrastructure as a Code в реальному світі

Всі знають що таке Infrastructure as a Code, але як почати використовувати цей підхід в своїй компанії? Як організувати код? Як налагодити взаємодію між компонентами, розробка яких ведеться окремо ? Як "подружити" розгортання інфраструктури та додавання інстансів в CD пайплайн ? Хто має розробляти інфраструктуру та хто має мати можливість контрібютити в неї? На ці, та інші питання я хочу спробувати дати відповідь в своїй доповіді.

Data pipelines: building an efficient instrument to make custom workflow

Я розповім про досвід будування системи для роботи з великими даними на базі відкритої технологіі Apache Nifi та Kubernetes на прикладі аналізу ресурсів новин з використанням NLP аналізом.

Свежий взгляд на гистограммы в мониторинге

Когда я был маленьким, я часто спрашивал маму о том почему люди так редко используют гистограммы. "Подрастешь - поймешь" - отвечала она мне. Так и вышло. Я начал строить DevOps и инфраструктуру в таких компаниях как Grammarly и Ring и заметил, что гистограммы невероятно сложны в использовании в обычных TSDB. Так что когда мы начали имплементировать гистограммы в VictoriaMetrics (open-source мониторинг) Мы постарались сделать их более полезными. Я хочу поделиться best-practices, хаками, а именно: почему мы фанатеем по HDR гистограммам (правда, с некоторыми изменениями), как сделать гистограммы рабочими если вы используете другую TSDB, почему вам вообще нужны гистограммы и в каких случаях, и даже какие настройки в графане критичны для гистограмм.

Сквозь монолитный enterprise к микросервисному open source. Банк - как современная IT-ниша

В своем выступлении я хочу пригласить участников взглянуть на банк как на современную компанию. Я хотел бы показать наш путь от монолитной архитектуры к микросервисам. Это не типичная статья истории трансформации с Интренета. Это наш маленький прорыв в устоявшейся архитектуре многих банков.
Прежде всего вы можете увидеть шаги от SOA (Enterprise Service Bus) к MSA (Docker, Kubernetes).

Управление сложными многокомпонентными инфраструктурами в Azure с помощью Terraform

В этом докладе мы поговорим о разворачивании инфраструктуры для Azure Service Fabric c помощью инструмента Terraform. Мы расскажем о составляющих инфраструктуры и сложностях, с которыми мы столкнулись при работе с ней. Также вы узнаете о том, как запускается процесс CI/CD для Azure Service Fabric.

Edge Computing: Appliance and Challanges

Over the last years booming of cloud technologies created a lot of opportunities for business and together with IoT expansion established new niche: Edge Computing. Since it's one of the first speech within the UA community we will go through main points about the origin, business use cases, main frameworks, and challenges. Why DevOps people should start learning embedded programming aspects and why we shouldn't allow to register a cloud node after reboot? That's the questions what we'll also review with professional part of the audience.

Реализация GitOps на Kubernetes. ArgoCD.

Kubernetes став стандартом для обчислювальних платформ і багато хто вже адаптував цю платформу як основну. Особливістю цієї платформи є нетипова система управління конфігураціями.
На презентації ми розглянемо що являє собою декларативний конфігураційний менеджмент. Чому Kustomize для нас є найкращим інструментом. І як за допомогою ArgoCD розгорнути Kubeflow на Kubernetes кластері.

DevOps на маскималках

Расскажу я о том, как задействованы и чем ценны в современных проектах DevOps эксперты на всех технических фазах проекта, когда мы говорим о консалтинге ( не продукте, тут уж тема отдельного доклада ).
В качестве примера возьмем один из проектов «одного моего хорошего знакомого», достаточно неплохой и очень масштабный пример MDM платформы.
Миссия доклада - отбросить домыслы и легенды IT рынка и посмотреть, за что же платят «девопсам».
- Поговорим о фазе Engagement (кто/что/как делает, чтоб вообще начать делать тот или иной проект для заказчика)
- Погрузимся в фазу Advisory (как вообще происходит, что делают и кто все эти люди, дающие непонятные оценки масштаба трагедии и построения плана действий)
- Позавидуем великолепному этапу Workshop-ов и сеансов парных программирований или романтическому деплойменту девственно чистого Kubernetes (а еще поговорим о том, что такое софтскиллз в реальной жизни и почему без них никак)
- Погрузимся в превращение результатов работы «чайка-экспертов» в имплементацию решения простыми работягами-девопсами (и не только)

Event-driven autoscaling on Kubernetes with KEDA and Azure Functions

Event-driven, serverless architectures are a hot topic in today’s cloud-native application development. To take full advantage of the serverless benefits of event driven, your application needs to scale and react to those events instantly. It needs to be able to scale from zero to potentially thousands of instances. KEDA is an open sourced component that provides event driven autoscaling for your Kubernetes workloads. KEDA works with any container, but to enable additional serverless capabilities within Kubernetes you can pair KEDA with the Azure Functions runtime. Azure Functions provides a programming model that can run anywhere: in a container running on-premises, fully managed in Azure, or in any Kubernetes cluster. It allows application developers not to worry anymore about writing the code to connect, trigger, and pull from an event source like RabbitMQ, Kafka, or Azure Event Hubs. That’s all handled for you. In this demo-filled session, we will start with a quick introduction on both Kubernetes and Azure Functions. You will then see how you can create your first cluster and install KEDA, deploy a function and scale that to thousands of instances based on events.