Modul ini membahas teknik menunggu kondisi eksternal pada pipeline. Materinya mencakup sensor untuk berkas, partisi, dan pekerjaan eksternal, deferrable operator yang mengosongkan slot worker saat menunggu, serta kebijakan kegagalan per task berupa timeout, retry, dan SLA. Ketiga teknik tersebut membuat pipeline peka terhadap ketersediaan data.
Sensor dan kesadaran data
Modul tentang pipeline yang menunggu data: sensor, deferrable operator, serta kebijakan timeout, retry, dan SLA per task.
0/0 selesai
- Sensor
Menunggu berkas, partisi, dan pekerjaan eksternal dengan sensor beserta mode poke dan reschedule.
- Deferrable operator
Menjalankan operator peka waktu tanpa menempati slot worker melalui mode deferrable.
- Timeout, retry, SLA
Merancang kebijakan kegagalan per task: timeout, retry dengan backoff, dan SLA.