Читаю сравнение Prefect и Airflow. Оно от создателей Prefect, так что это скорее реклама, чем честное сравнение. Но они перечислили столько недостатков Airflow, что теперь я уверен, что решение два года назад НЕ брать Airflow было верным.

Я часто слышал мнение, что вот, давайте возьмем фреймворк и он решит какую-то проблему за нас. Но это решение не такое бесплатное, как кажется: нужно изучать документацию фреймворка, нужно подстраиваться под его требования, иногда надо поставить базу данных специальную или переделать архитектуру. В итоге полноценное внедрение нового большого инструмента занимает месяца три, пока мы отловим все неожиданное поведение. Да и то, только один-два человека из команды его в итоге знают.

Создается ощущение, что программисты не верят в свою способность написать код, который решит конкретно их проблему.

При этом разработка — это же не только написание кода. Это прежде всего выяснение деталей проблемы, которую тебе надо решить. Мне кажется, что вот этого прояснения программисты и избегают. Надеются, что ребята, которые писали фреймворк, уже были в их ситуации и подстелили соломки для них. Но мой опыт показывает, что даже open source библиотеки решают проблемы в очень узком контексте. Особенно молодые и модные.

В общем, хочешь что-то использовать — лучше сначала сам попробуй написать. На фреймворк перейти всегда успеешь.