Поддержка PythonOperator и BashOperator в бессерверном Amazon MWAA
Управляемые рабочие процессы Amazon для Apache Airflow (Amazon MWAA) в бессерверной версии теперь поддерживают выполнение пользовательских функций Python и скриптов оболочки непосредственно в бессерверной среде выполнения с использованием PythonOperator и BashOperator. С внедрением этих возможностей инженеры данных смогут запускать свои ежедневно применяемые шаблоны кода, включая преобразование данных, преобразование форматов и проверку качества данных, без необходимости выделять для этого дополнительную инфраструктуру.
Модули Python или скрипты оболочки упаковываются в виде пакетов кода и загружаются в Amazon S3, после чего на них можно ссылаться при создании и изменении рабочих процессов. Сервис MWAA делает снимок вашего кода в момент создания рабочего процесса и использует этот снимок при всех последующих запусках, обеспечивая единообразность их выполнения.
Эта функция доступна во всех регионах AWS, где поддерживается бессерверный Amazon MWAA. См. дополнительные сведения об использовании операторов Python и Bash.