Как видят сотрудники «Додо ИС» знает всё о работе пиццерии, но каждому сотруднику показывает только то, что нужно для текущей задачи. Как отметили сотрудники «Додо Пиццы», сайт был тепло встречен профессиональной аудиторией, а формат работы над сайтом смог подчеркнуть принципы компании — качество и открытость.
Специалисты «Простых решений» помогают автоматизировать учет франчайзи Dodo Brands
В блоке общения с гостем метрик больше — технологии изучают такие вопросы, как «обратил ли сотрудник внимание на гостя в течение 30 секунд», «предложил ли сотрудник гостю альтернативу при отсутствии блюда», «порекомендовал ли сотрудник более выгодное гостю комбо-предложение». Благодаря интеграции с кассовым ПО «Додо Пицца» узнала реакцию гостей на рекомендации сотрудника, успех новых продуктов и точный эффект от индивидуального сервиса. Анна Лифанова Исполнительный директор корпоративной сети «Додо Пицца» «Несмотря на подавляющий процент заказов из приложений, пиццерии остаются местом для контакта с гостем. В ресторанах до сих пор отдается предпочтение человеческому взаимодействию — сотрудники создают привлекательность бренда для потребителей.
В планах на ближайшие годы — стратегия «Додо Х2», в рамках которой мы планируем удвоить количество пиццерий в России и СНГ. Данные, которые у нас появились благодаря аудио- и видеоаналитике, позволят принимать гораздо более эффективные решения. Например, уже сейчас решения по модернизации зоны витрин мы принимаем, изучая ежедневное поведение гостей» Сотрудники «Додо Пицца» также открыты к технологиям — по данным опросов, с системой управляющим нужно менее 20 минут в день на анализ работы точек.
Работать с системой нравится и кассирам, которые теперь защищены от необъективности.
Как проходили проверки в «Додо Пицца» Для собственных рейдов «Русбанкрот» выбрал несколько пиццерий, расскажем про три из них в разных регионах России: Мурманск, Вязьма Смоленская область и Анапа Краснодарский край. Проверки у них бывают редко, ведь придраться там якобы не к чему, а потому и нас они не ждали. Сразу стоит отметить, что подделкой документов в редакции не занимались. Сотрудники «Русбанкрота» просто пришли и заявили, что сейчас будет проверка — во всех трех ресторанах их пропустили, не спросив никаких подтверждений.
Признаться, мы были готовы к аналогу передачи «Ревизорро», но биться за проход на кухню даже не пришлось — сотрудники пиццерий не мешали и даже не поинтересовались, есть ли у их гостей медкнижки они были. Представители редакции облачились в халаты, маски, шапочки для волос и отправились изучать работу заведений изнутри. Уже при первом взгляде стало понятно, что пиццерии точно не образцовые, но что же с ними не так? Ходить местным жителям особенно некуда да и живут тут небогато , а потому «Додо Пицца» считается здесь «модным» местом, где собирается продвинутая молодежь. Это стало очевидно и по местоположению ресторана — он находится прямо в центре города, чуть ли не рядом с памятником Ленину.
В сети «Додо» существует такое понятие как «время лояльности» — рестораны должны начинать работу уже за 15 минут до официального времени открытия. Чтобы гости, пришедшие чуть раньше, не ждали под дверью. Проверка редакции явилась за 10 минут до открытия — и пиццерия действительно работала. Но на этом положительные моменты закончились. Кофе заказать не получилось, ведь кофемашина не работала.
Да и чек на заказ пришлось ждать 10 минут — он не печатался, аппаратура вышла из строя. В глаза нашим проверяющим сразу бросилось отсутствие салатов на полке. Франчайзи не из близкого круга Овчинникова получали за отсутствие салатов предписание о закрытии пиццерий ведь основное меню всегда должно быть в наличии , но в Вязьме это было в порядке вещей и никого не волновало. На напитках не оказалось ценников, да и расставлены они были кое-как — чтобы прочитать названия, пришлось самостоятельно их разворачивать. Дальше — кухня.
Первое, что заметили наши проверяющие — грязь. На кухне было очень очень! Плитка в черных засохших каплях, использованные чайные пакетики и шкурки от еды под стеллажами, разводы и следы от уличной обуви на полу, грязь в зоне хранения лотков с продуктами.. Но пиком всего этого оказались коробки с жуками, пауками и тараканами, расставленные по всей кухне. Сотрудники пиццерии объяснили, что дезинсекции пока не было, а потому они пытаются справляться собственными силами и ловят насекомых «на живца», устанавливая ловушки с отравой.
Этот факт наверняка понравится сотрудникам Роспортребнадзора — питаться в такой пиццерии попросту негигиенично и небезопасно. Из прочих интересных деталей: люди в куртках на кухне, неработающее табло для поваров, нарушение товарного соседства в холодильниках, хранение коробок производителей по нормам общепита коробки нужно разбирать , вскрытые коробки без маркировок. Маркировок не было и у некоторых замороженных продуктов, а это значит, что мы даже предположить не можем, как долго они там лежат и ждут своего часа. Некоторые продукты, кстати, хранились и вовсе без крышек.
Таким образом автоматизированная система управления решает сложные вопросы в считаные минуты. Построение рабочего графика После того как каждый работник пиццерии отметил нерабочие дни в своем ЛК, менеджер смены, используя информацию из «Сводной карты возможностей», составляет график работ, применяя автоматизированную систему Dodo IS.
График составляется как на 1 день, так и на неделю с учетом выборки работников системой, благодаря которой сотрудники «Додо» имеют полное представление о своем рабочем расписании. Общая база контактов В «Личном кабинете» работника пиццерии есть справочник контактов всех сотрудников ресторана. Он нужен для того, чтобы в случае необходимости обратиться к управляющему или в кратчайшие сроки найти замену. Общая база контактов содержит сведения о следующих работниках: руководителях предприятия; В общей базе есть справочник контактов всех сотрудников ресторана. Оставление отзывов и жалоб Также ЛК работника предусматривает опцию «Отзыв». Используя ее, сотрудник может оставить пожелание, жалобу или предложение по работе.
Dodo IS позволяет сделать это и анонимно. Все сообщения поступают к директору пиццерии, который принимает решения по заданным вопросам.
Советы: как сейчас действовать «доставочному» бизнесу Помните о своих сильных сторонах. Когда вокруг неопределенность, важно не забыть о том, кто вы, что выделяет вас из числа других, делает ваш бизнес таким, какой он есть, за что вас выбирает клиент.
И сохранить это. Например, нашей сильной стороной является технология приготовления пиццы. Не важно, в каком городе клиент заказывает пиццу — ее вкус будет точно таким же, как в любом другом городе присутствия бренда. Не уходите с радаров — важное правило бизнеса.
Фото предоставлено героем материала Развивайте собственную доставку. Пандемия не изменила вкусы людей, но изменила привычки: люди привыкли планировать бюджет, заказывать обед или ужин на дом, и эта культура только развивается, что говорит о потенциале. Эксперты прогнозируют сохранение спроса на доставку, поэтому ее развитие может стать перспективным направлением роста ресторанного бизнеса. Усиливайте штат курьеров.
Помимо тех сотрудников, которые уже набраны, сейчас актуально расширение штата курьеров. Для того чтобы это происходило эффективно, стоит разработать программу отбора, подготовки, мотивации новых специалистов. Как отбирать курьеров? Каких-то сложных требований нет.
История архитектуры Dodo IS: путь бэкофиса
Основа франшизы «Додо Пиццы» — облачная ERP-система «Додо ИС» (Dodo IS), которая организует рабочие процессы пиццерии, включая обработку заказов, работу кухни, доставку, управление штатом и маркетинг[24]. Как мы систему тайных покупателей Додо пиццы водим вокруг пальца. А следовательно, Додо манипулирует выдачей дат проверок, которую я и разъяснил в комментарии сверху на скриншоте.
Что решили делать
- Додо ревизия - фото сборник
- Додо ис персонал
- Как франчайзи «ДоДо Пиццы» сократили налоговые риски на 2,5 млн рублей | РБК Компании
- Пицца с пола и ведро с жижей: Что творится за кулисами крупнейших российских пиццерий
Додо ревизия - фото сборник
«Додо ИС» собирает данные обо всех аспектах работы: от скорости сборки конкретной пиццы до экономической эффективности пиццерии. Читайте сегодняшние новости DODO / TetherUS — торгуйте DODOUSDT, принимая обдуманные решения. Главная» Новости» Новости додо пицца. Как мы привели в порядок карточки «Додо Пиццы» на Яндекс Картах и увеличили поток клиентов.
О том, как разработчики пилят IT в Dodo
Как будет работать ревизия в Dodo IS, смотрите в этом «живом» видео. Разработали систему учета с использованием сводных данных из «ДоДо ИС», что помогло снизить затраты на ввод первичных документов в 1С за счет использования сводных проводок. Бесячая отмена проверки в Додо и её исправление. Как мы привели в порядок карточки «Додо Пиццы» на Яндекс Картах и увеличили поток клиентов. Серия статей «Что такое Dodo IS?» расскажет про: Ранний монолит в Dodo IS (2011-2015 годы).
«Додо Пицца» внедряет ИИ в пиццерии для улучшения обслуживания гостей
Курьеры, везущие клиентам пиццу и напитки, по их же собственным словам, зарабатывают не очень много, поэтому к работе иной раз относятся безответственно: иногда заказчик получает падавшую по дороге еду с ингредиентами, собранными с пола. История на первый взгляд странная, поскольку в международной сети пристально следили за качеством продукции и обслуживания после скандала, случившегося в США в 2009 году. Тогда двое сотрудников пиццерии на кухне одной из точек в Северной Каролине снимали развлекательный ролик для "Ютуба", в котором сморкались на лежащие в коробках пиццы, подготовленные для отправки клиентам. Резонансный скандал с двумя сотрудниками пиццерии поддержала даже The New York Times. Согласно последней отчётности, опубликованной в СПАРК, за 2022 год выручка компании составила 3 млрд рублей.
При этом фирма ушла в минус на более чем миллиард. Несмотря на большую выручку, компания успела обрасти долгами и готовилась к банкротству. Но в итоге сделка по продаже сорвалась, и "Пицца ресторантс" стала готовиться к банкротству. К этому моменту у нас в стране работало 188 ресторанов под известным брендом.
Летом этого года рестораны сети закрылись, и тут неожиданно появился другой покупатель.
Если и так, то он сделал это определенно не в момент публикации поста. Насколько я знаю, проверка ресторана и доставки производится раз в неделю по крайней мере в нашей пиццерии. Следовательно, начиная с понедельника и по сей момент имеется проверка, которая недоступна многим, и в том числе мне! Я разозлился и написал в комментариях своё мнение о происходящей ситуации. Как видно, я не один такой.
А следовательно, Додо манипулирует выдачей дат проверок, которую я и разъяснил в комментарии сверху на скриншоте. Что и следовало ожидать, очередная рекламная кампания Додо-Пиццы. Видимо, на наркотиках Овчинников не сильно распиарился и продолжает начатое. А что значит постоянная активная реклама?
Учет пятидневного теста Теперь «Додо ИС» умеет вести учет теста — полезная функция для тех пиццерий, которые делают тесто сами, а не снабжаются из центров производства теста. Система помогает отслеживать запасы муки и других ингредиентов и рассчитывать себестоимость основы для пиццы. Функция уже работает для рецепта теста пятидневной выдержки — именно его обычно используют пиццерии, которые делают тесто сами. В следующем году мы добавим и «восьмидневное» тесто. Акция для городов Мы научили конструктор акций ограничивать действия скидок и промо предложений одним или несколькими городами. Раньше маркетологи, отвечающие за национальный маркетинг, могли создавать только акции, действующие по всей стране. Теперь они могут сделать акцию только для Москвы или Петербурга. Сообщения об ошибках при этом стали умнее.
Додо пицца мемы. Додо Стикеры. Додо пицца рисунок. Инструкция для Тайного покупателя. Додо тайный покупатель. Анкета Тайного покупателя Додо. Инструкция Тайного покупателя Додо. Додо пицца очередь. База знаний Додо пицца. Очередь в пиццерию. Диспетчер пицца. Додо кабинет. Додо личный кабинет Додо. Додо пицца персональный кабинет. Додо ИС вход в личный кабинет. Додо книжка. Додо книга прочти меня. Ценности Додо. Книга от Додо. Dodo is. Додо номер телефона. Кабинет Додо пицца. Додо Мем. Открытка Додо. Додо рубли. Додо маркетинг. Додо пицца иллюстрации. Карточка Додо пицца. Карта пиццерий Додо. Додо пицца коробка. Додо таргет. Диаметр пиццы Додо. Додо ВК. Додо пицца Размеры пицц. Костюм Додо. Костюм птицы Додо. Додо презентация. Ростовой костюм Додо. Додо пицца на Кирова. Додо пицца Киров. Номер Додо пиццы Киров. Акции Додо Киров. Додо ИС личный кабинет сотрудника. Личный кабинет сотрудника. Додо пицца Румыния. Магнитики Додо пицца. Додо магниты. Вход в личный кабинет сотрудника Додо. Додо Домодедово. Додо кино. Додо 2077. Троян Додо. Дашборд Додо пицца. CRM Додо пицца. Dodo is структура. Dodo дизайн website. Управляющий Додо. Додо обучение.
Как мы привели в порядок карточки «Додо Пиццы» на Яндекс Картах и увеличили поток клиентов
*Как видеоаналитика и машинное зрение помогают оценивать качество пиццы | Здесь мы рассказываем о том, куда идём с точки зрения архитектуры, развития системы и захвата мира. |
Dodo IS | Учет. Ревизия | Видео | с Додо Пиццей. Заказывайте как юридическое лицо по безналичному расчёту. С нас горячая пицца и закрывающие документы. |
Как готовят и развозят еду в известных пиццериях
- Проверка эквайринговых платежей в Додо Пицца Смоленск
- Dodo IS. Ревизия. Графики
- Пицца с пола и ведро с жижей: Что творится за кулисами крупнейших российских пиццерий
- «Мы пришли к успеху пока вы кушали пиццу». 3 франчайзи ДоДо об окупаемости и конкуренции
Что решили делать
- «Рецепт выживания в турбулентное время»
- Dodo IS. Ревизия. Графики: silauma — LiveJournal
- Материалы по теме
- Додо ис ревизия - фото сборник
- *Как видеоаналитика и машинное зрение помогают оценивать качество пиццы
«Додо Пицца» застраховалась от киберпреступников
Программа предусматривает страхование убытков от перерыва в хозяйственной деятельности и от несанкционированного списания денег со счета клиента в результате киберинцидента, а также страхование гражданской ответственности за вред, который может быть причинен третьим лицам, в результате киберинцидента. Сегодня это международная сеть пиццерий, активно использующая информационные технологии для улучшения процессов. Сеть пиццерий работает на облачной ERP -системе «Додо ИС», которая координирует все процессы: заказы, работу кухни, доставку, рекламу и общий менеджмент.
Была разработана функциональность для добавления Историй в мобильное приложение Донер 42, рассказывающих об обновлениях. Мобильные приложения: В мобильном приложении вне зависимости от операционной системы, и на iOS, и на Android, клиент может собрать заказ, добавить дополнительные ингридиенты в блюда, узнать о пищевой ценности продуктов, узнать время до готовности заказа, оставить отзыв. Также можно включить темную тему в приложении для комфортного заказа в темное время суток или в условиях слабой освещенности. В приложении реализованы Истории, рассказывающие в формате слайд-шоу о возможностях приложения или новых продуктах в меню. Также был разработан функционал донер-встряски: если потрясти приложение, автоматически сформируется предложенное комбо из продуктов, которое позволяет клиенту попробовать что-то новое, не задумываясь о выборе. И наконец мы разработали отдельную систему лояльность с донер-коинами, получаемыми с каждого заказа, за которые можно покупать продукты в будущих заказах. На текущий момент в приложении можно разместить заказ в 7 точках питания в 2 странах: в России и Казахстане. Решение: Разработали приложение, в котором создали виртуальную витрину, реализовали возможности кастомизации напитков, заказа и оплаты в приложении.
Подробнее Приложение Дринкит Задача: Разработать мобильное приложение Дринкит: перенести в онлайн опыт выбора продукта, кастомизации, взаимодействия с кассиром, меню, оплату. Административная часть: Мы разработали дизайн приложения с виртуальной видеовитриной, чтобы привлечь внимание клиентов к новым продуктам. Адаптировали функциональность Додо ИС к особенностям кофейного бизнеса: добавили сложную кастомизацию внутри продукта выбор молока для кофейных продуктов с молоком, посыпок. Создали модульное меню, которое управляется с сервера и позволяет разным пользователям видеть разное меню в зависимости от времени суток и истории покупок. Добавили для клиентов возможность проверки адреса кофейни для избежания ошибок. Приложение: Клиент может оформить заказ в приложении и зайти в кофейню только за тем, чтобы забрать свой напиток — ему не нужно стоять в очереди и ждать, когда приготовят заказ. Он может выбрать напиток по своим предпочтениям, добавить или убрать дополнительные ингредиенты, оплатить заказ свайпом в приложении, отслеживать статус выполнения заказа. При запуске приложения клиенту показывается виртуальная видеовитрина с новинками. На основании истории заказов в приложении реализована предиктивная модель: клиенту предлагаются продукты, которые он заказывает чаще всего, с учетом его предпочтений выбор вида молока, посыпки.
По состоянию на январь 2024 года, сеть включает 1000 заведений в 21 стране мира помимо России. Была основана предпринимателем из Сыктывкара Фёдором Овчинниковым. Весной 2011 года Овчинников арендовал в центре Сыктывкара небольшое помещение, открыл пиццерию, которая работала только на доставку, и к концу года заведение со стартовыми вложениями в 1,3 миллиона рублей вышло на 1 миллион месячного оборота. Основной продукт — система контроля и управления персоналом на основе технологий AI, аудио- и видеоаналитики. SteadyControl ежедневно собирает данные с камер, касс и микрофонов или аудиобейджей , после чего алгоритм SteadyControl автоматически анализирует качество работы персонала с помощью различных инструментов: собственных нейросетей для видеопотока, speech recognition для диалогов с гостем, систем вычисления и ручного труда экспертов, обученных стандартам клиента. В 2021 году индустриальную компанию SteadyControl HoReCa возглавил Дмитрий Лебеденко, который был одним из первых клиентов компании во время управления собственной сетью общественного питания. Материалы по теме.
На каждой фотографии сеть визуально разделяла продукт на участки и теперь умеет находить недостатки на всех участках. К примеру, едва заметные глазу вздутия по краям пиццы укажут на низкое качество теста. Каждый готовый продукт искусственный интеллект соотносит с «идеальной» пиццей, построенной как раз с использованием информации, предоставленной реальными потребителями и профессионалами по оценке качества пиццы. Управление очередью от Ivideon Все существующие детекторы, увы, все еще несовершенны. Здесь надо понимать, что люди в очереди нестационарны. Проще говоря, они меняют местоположение, меняют очередь, сливаются с фоном или друг с другом, мешая внешним датчикам правильно их считывать или не позволяют камере различить себя как отдельные объекты. Для создания своего детектора очереди Ivideon использовала machine learning. Алгоритм сумел выделить в человеке «существенное» — голову, что позволило добиться почти идеальной точности фиксации камерой именно человека. Осталось сосчитать число покупателей и уведомить управляющего о появлении очереди, чтобы открыть дополнительную кассу или закрыть пустую. Крутая возможность этого сервиса — статистический учет. Детектор определяет число покупателей в очереди и визуализирует распределение клиентов по времени на графиках и диаграммах. Такая статистика существенно упрощает задачи оптимизации рабочего графика сотрудников, оценки качества рекламной акции или поиска недостатков в дизайне витрины или выкладке товара. Отчеты создаются в формате CSV, доступ к информации через личный кабинет Ivideon. Такие отчеты позволяют делать прогнозы даже на несколько дней и заранее выяснить, какие кассы, в какие дни и часы выдерживают наибольшую и наименьшую нагрузку. Кроме того, Ivideon может обработать сведения из касс по чекам. Программа управления очередью дополняется бесплатным модулем интеграции с 1С. Определяем доходность вложений В общем доступе «Додо» еще не разместили информацию о затратах на совместный пилот с Dbrain. Если мы посчитаем по максимуму, то идея все равно скорее окажется выигрышной — машинный алгоритм не требует заработной платы или пиццы в подарок.
Додо пицца застраховалась от киберпреступников
3. Результаты проверок публикуются каждую неделю в системе Додо ИС. Тайная проверка Додо. Менеджер Додо обязанности. Новости #dodo-picca. Бывшие франчайзи «Додо Пиццы» в один голос заявляют, что в сети сложилась абсолютно нездоровая атмосфера: 30% пиццерий буквально замучили постоянными проверками.
Додо ис ревизия - фото сборник
Но на этом положительные моменты закончились. Кофе заказать не получилось, ведь кофемашина не работала. Да и чек на заказ пришлось ждать 10 минут — он не печатался, аппаратура вышла из строя. В глаза нашим проверяющим сразу бросилось отсутствие салатов на полке. Франчайзи не из близкого круга Овчинникова получали за отсутствие салатов предписание о закрытии пиццерий ведь основное меню всегда должно быть в наличии , но в Вязьме это было в порядке вещей и никого не волновало. На напитках не оказалось ценников, да и расставлены они были кое-как — чтобы прочитать названия, пришлось самостоятельно их разворачивать. Дальше — кухня. Первое, что заметили наши проверяющие — грязь. На кухне было очень очень! Плитка в черных засохших каплях, использованные чайные пакетики и шкурки от еды под стеллажами, разводы и следы от уличной обуви на полу, грязь в зоне хранения лотков с продуктами.. Но пиком всего этого оказались коробки с жуками, пауками и тараканами, расставленные по всей кухне.
Сотрудники пиццерии объяснили, что дезинсекции пока не было, а потому они пытаются справляться собственными силами и ловят насекомых «на живца», устанавливая ловушки с отравой. Этот факт наверняка понравится сотрудникам Роспортребнадзора — питаться в такой пиццерии попросту негигиенично и небезопасно. Из прочих интересных деталей: люди в куртках на кухне, неработающее табло для поваров, нарушение товарного соседства в холодильниках, хранение коробок производителей по нормам общепита коробки нужно разбирать , вскрытые коробки без маркировок. Маркировок не было и у некоторых замороженных продуктов, а это значит, что мы даже предположить не можем, как долго они там лежат и ждут своего часа. Некоторые продукты, кстати, хранились и вовсе без крышек. Редакция не могла не обратить внимание и на неубранную с вечера грязную посуду, дырки в потолке пиццерии явно требуется ремонт , полный беспорядок на складе, открытый электрический щит, незакрытые провода и проблемы с документами. Да, в отличие от «Додо Пиццы», мы их документы проверили и обнаружили, что последняя дезинсекция была в 2019 году — теперь понятно, откуда в ресторане столько живности. Через раз подписывается и инструкция по охране труда. Напомним, это пиццерия образцового, по мнению Федора Овчинникова, франчайзи. А потому и в проверках она не нуждается — все ведь и так хорошо.
Очень жаль, ведь жители Вязьмы заслуживают более высокого уровня сервиса. Очевидно, что для маленького города владельцы бизнеса даже не стараются. Ну что ж, поехали дальше, в Мурманск. Но не за 10 минут, как того требуют правила — здесь ресторан знаменитое «время лояльности» игнорирует и открывается ровно в час, указанный на вывеске. На входе наши сотрудники сразу заметили наполовину оторванные наклейки «Додо», в туалете их ожидали паутина и грязь. Несмотря на то, что они были первыми посетителями пиццерии, мусорки оказались заполненными — видимо, с вечера их не выкидывали. На кухне, как и ожидалось, дела обстояли еще хуже.
Стоит признать, что перед отключением "Додо Пицца" дала акционеру ярославского бизнеса Евгению Ткачеву три месяца на продажу пиццерий. Но в итоге и сеть, и вероятные покупатели посчитали завышенной оценку активов в 150-180 млн рублей при суммарной выручке в 8-9 млн рублей.
Всё, вы теперь просто пиццерии и к сети никакого отношения не имеете. По словам Федора Овчинникова, ярославские партнеры с 2019 регулярно нарушала стандарты чистоты и маркировки, и за все это время они так и не исправились то есть в сумме вся эта история тянулась больше двух лет. Евгений Ткачев не был согласен с этим решением, называл происходящее рейдерским захватом и пытался отстоять право своих заведений быть частью "Додо Пиццы" в суде. Он также вместе с Федором Овчинниковым принял участие в целом ток-шоу, посвященном этому конфликту: Еще в октябре 2021 года ярославская компания просила суд принять обеспечительные меры в виде запрещения компании "Додо Франчайзинг" совершать действия, направленные на приостановление деятельности четырех пиццерий в Ярославле.
Страховой компанией выступил «Сбербанк страхование». По словам финансового директора компании «Додо Пицца» Дмитрия Соловьева, в "сердце" сети организации - облачная система управления пиццерией «Додо ИС».
Когда балкхэды разжимали, была слабая надежда, но она не оправдалась. Для ускорения процесса решили поправить прямо в Kubernetes в Secrets configs-legacyfacade. Но поломали конфиги там нужно было конвертировать в base64.
В 19:27 замечаем, что сегодня нагрузка на БД чуть больше обычного. Примерно в 19:38 видим, что на базе много тредов. Это запрос на метапродукты то есть например, есть продукт Кофе американо, а у него есть объём 0,2, 0,3 и 0,4 л и топпинги дополнительные ингредиенты в меню. Да, это связано с вызовом метода GetMenu, который мы видели выше, когда разжали балкхэды. В обычной жизни запросы к топпингам выполняются за 0. Позже мы исследовали этот запрос и никакой неоптимальности на уровне SQL в нём не было. Этого запроса просто было слишком много и он не успевал обрабатываться. Появилось предположение, что нам немного не хватает перформанса базы, чтобы прожевать все нужные запросы. К тому же, запросы идут в базу в много потоков.
В 20:27 БД перезапустилась. До этого CPU было небольшое, а теперь опять выросло. Грузим все 64 ядра мощной базы. БД перезапустилась, по CPU лучше не стало. В итоге изменение свойств базы с обработкой коннектов нам не помогло. На 21:00 вся система была в разваленном состоянии. Сайт, мобильное приложение и касса ресторана не принимают заказы уже 2,5 часа. На этот момент понятно, что в базу идёт большое количество запросов, и они связаны с меню. При этом ни большое, ни малое количество реплик веб-сервисов не позволяет системе нормально работать.
Четвёртая гипотеза: может, это плохой релиз? Вернёмся чуть назад во времени. В 19:22 у собравшихся появляется идея посмотреть, что же выходило в этот день на продакшен из обновлений. Может, мы найдём в них какую-то зацепку, которая поможет починить всё. Смотрим на последний релиз монолита. Монолит делает запросы к базе монолита, в монолите находится LF, а значит, что-то могло повлиять на них. Релиз был раскатан в 11:01 23 сентября и весь день проработал нормально. Обычно перформансные проблемы в релизе проявляются достаточно быстро. Но этот релиз был раскатан в пятницу утром в пятницу после 15 мы ничего не катим , и пока у него не было ни одного проработанного вечера.
Этот вечер был первым. Пошли изучать код релиза. В релизе было 15 задач, поэтому детальное изучение занимает время. В 19:25 запускаем откат монолита России на 928 релиз.