Если быть точнее, то "хлеб на закваске" - тоже дрожжевой хлеб.
Когда мы делаем закваску, то создаем благоприятные условия в ней для развития дрожжей, которые содержатся некотором количестве практически везде. И потом добавляем эту закваску в выпечку.
Таким образом, наверное, вред не столько в дрожжах, сколько в их количестве, ну или в свойствах именно концентрированных дрожжей из пакетика:). А также, как было ранее верно подмечено, в количестве сахара и других ингредиентов. И вообще в "фабричности" процесса выпечки.