Правили как в игре "данетки": я даю вводные, далее вы должны догадаться что произошло, в процессе можете задавать мне вопросы, на которые я могу отвечать "да", "нет", "неважно", "golang"

Поехали:

Есть сервис в 3 реплики, обслуживающий основной HTTP API, является частью модульного монолита (а значит имеет еще другие приложения под общим именем).

После очередного релиза отдает на основную ручку (у нас одна потому что RPC) код 404, причем с вероятностью 90% на самом нагруженном геоконтуре, в 70% случаев в менее нагруженном, и в 30% случаев в девелопмент.

Ошибок нет, метрики в норме, и его healthcheck, и других сервисов тоже в порядке.

Что произошло?

Проброс 404 происходит из другого запроса?

Не понимаю

Ты состоял в треде где мы это обсуждали, у тебя есть преимущество, так что не рассказывай)))

Перекидываем ошибку из внутреннего запроса (API, Redis ...) на внешний запрос

Нет

Ну я его и не читал, так что нет ничего) А так-я хз)

Ты же и зарепортил первый об ошибке)))

Так оно в итоге работает? Или снова ждём?

Работает

Я кинул репорт и пошёл спать

Это как: "крутые парни не поворачиваются когда за ними взрывается прод"

Я на протяжении 4 часов временами тыкался и репорт - это был последний писк)

Ну если я правильно понимаю - у вас есть АПИ гейтвей, за ним лоад балансер который запрос на реплики раскидывает. То в этом случае в первую очередь я б проверял лоадбалансер, возможно он перенаправляет часть запросов по ошибке в реплику соседнего сервиса и соответсвенно отвечает 404. Тогда чем выше нагрузка на корректные реплики, тем чаще балансер будет натыкаться на ошибочную в поиске наименее загруженной.

И это правильный ответ!) Тебя с собой можно брать в дебаг))