Стараюсь удалять, но иногда забываю. Потом еще этот контейнер долго у меня живёт так как не могу вспомнить почему я его не удалил сразу, а проверить нет времени)

зачем удалять если приходится тратить время на билд

Ну, смотри:

- Если это инфраструктурные приложения, то не придется
- Если код не менялся то есть тактики заставить докер это понять и обойтись без билда или билд будет полностью на кэшах
- Если код менялся билд так и так нужен
- Если хочется совсем без билда, то можно прокинуть Volume и добавить вотчеров в контейнер

Поэтому будешь ты или нет удалять контейнеры не должно влиять на наличие или отсутствие билда