1. Flux d'air

1. Avantages

Par rapport à toutes les autres solutions, le flux d'air est fonction de moteurs exceptionnels, vous pouvez non seulement utiliser des plug-ins pour supporter différents travaux. Inclut les travaux de traitement de données: la ruche, les porcs (bien que vous puissiez également les envoyer via la commande shell) et gérer le processus général activé en fonction de l'entrée / dB / S3 ou d'attendre une sortie attendue de la fin de la bande, mais aussi Fournit une très bonne interface utilisateur qui vous permet de vérifier le DAG (dépend des processus de travail) via Code / Graphics et suivre la performance de travail en temps réel de l'ami.

La communauté brillante actuelle peut également personnaliser plusieurs flux d'air. Vous pouvez utiliser le fonctionnement local pour exécuter toutes les tâches via un seul bouton ou les distribuer sur un ensemble de nœuds de fonctionnement via céleri / dask / mésos.

2, Inconvénients

Le flux d'air lui-même n'est toujours pas mature (en fait oozieIl est possible que le seul outil "mature", le planificateur a besoin d'un plan de vote régulier et travaillera envoyé à l'exécuteur exécutant, ce qui signifie que cela signifie qu'il continuera de prendre beaucoup de journaux le mot "case".

Parce qu'il est souvent nécessaire par «marquage», votre travail ne peut pas garantir l'arrangement «en temps réel», deviendra pire comme fonctionne simultanée. Dans le même temps, parce que vous avez un planificateur centralisé, si vous avez une faute ou bloquée, votre travail de course ne sera pas affecté comme l'exécution du programme, mais n'arrangez pas de nouveaux emplois. Ceci est particulièrement confus lorsque vous utilisez HA pour exécuter, où vous avez plusieurs boutons Web, planification, agents (généralement des messages dans les cas de céleri), de nombreux fichiers exécutables. Lorsque le planificateur est bloqué pour une raison quelconque, toutes les tâches que vous voyez dans l'interface utilisateur Web sont en cours d'exécution, mais elles ne fonctionnent vraiment pas, mais le directeur exécutif veuillez indiquer qu'ils n'ont pasQuel est le problème. En d'autres termes, la surveillance par défaut est encore loin d'argent.

Il semble que l'interface utilisateur Web est facile, cependant, parfois, les nouveaux utilisateurs se sentent confus. Qu'est-ce que mon point de vente Dag signifie, ma mission n'a pas d'état? Ces graphiques ne cherchent pas aux amis, ne disent pas que certaines caractéristiques sont loin des détails (bien que ce document a l'air très bien, je veux dire, la personne suivante semble manquer de temps).

Le design gauche est bon dans certains cas, mais très facile à faire des erreurs dans d'autres cas. Si votre cron est désactivé et allumé plus tard, il essaiera de rattraper la suite. Si votre travail n'est pas allégé, vous arriverez.

Lundi, Azkaban

1, Avantages

Dans tous les moteurs, Azkaban peut facilement s'ouvrir. L'interface utilisateur est très intuitive et facile à utiliser. La planification et le repose-API fonctionne très bien. Mettre en place des hectares limités disponibles. Vous n'avez pas besoin d'un égaliseur de charge car vous ne pouvez avoir qu'un bouton Web. Vous pouvez réglerLe moyen de sélectionner le bouton de fonctionnement, puis vous pouvez le repousser, il semble généralement très bon, tant qu'il y a suffisamment de capacité pour exécuter le bouton de programme, vous pouvez facilement exécuter des dizaines de milliers d'emplois.

2, Inconvénients

est un moteur à roulettes à usage général, il n'a pas de fonctions très riches, mais ce n'est peut-être pas la conception originale, son avantage comme natif de Hadoop / porc / support , bien que vous puissiez également utiliser la ligne de commande pour déployer ces fonctionnalités, il n'est pas possible d'activer l'opération via des ressources externes telles que le flux d'air et aucun mode de veille de travail de support. Bien que vous puissiez obtenir un travail relativement occupé via le code / script Java, cela entraînera une réduction de l'utilisation des ressources.

Par rapport à d'autres documents et configurations, les documents et les configurations sont généralement difficiles à comprendre. Il peut ne pas être recommandé pour les débutants, les conceptions sont bonnes mais meilleures que vous devriez avoir un grand centre de données pour exécuter le moniteur.Les dirigeants d'entreprise, car lors de la mise en œuvre de ressources épuisées du programme sans surveillance supplémentaire, l'horaire s'arrête. Par rapport à d'autres CODE, la qualité globale du code est un peu bas sur le côté bas, de sorte qu'il ne s'étendra généralement que lorsque les ressources n'ont aucun problème.

Paramètres / Conception n'est pas proche des nuages. Vous devriez avoir un plafond stable, au lieu d'avoir une version virtuelle avec une adresse IP dynamique. Si l'appareil disparaît, l'horaire «se déplacera».

Section de supervision acceptable (il semble y avoir de non-documents) via JMX. Toutefois, si votre machine charge fortement, ce n'est souvent pas très bon, car le point final peut être bloqué.

Mardi, chef d'orchestre

1. Avantages

L'introduction du conducteur dans cette comparaison est un peu injuste, en raison du but réel de son orchestre de micro-service, de quoi Cela signifie-t-il que son modèle HA implique un certain nombre de serveurs, où ils se tiennent après le jeu d'équilibrage de la charge, mettez la tâche dans la marchandiseLes messages informatiques, le bouton de travail explorera cette file d'attente, ce qui signifie que vous êtes moins susceptible de respecter le calendrier de stagnation. Avec l'aide de la mise en œuvre du paramètre API, si vous définissez exactement la classe de découverte d'équilibreur / service, c'est vraiment bon dans la planification et l'expansion.

2, Inconvénients

L'interface utilisateur nécessite plus d'amélioration et de surveillance actuelle est très limitée. Bien que la planification générale soit suffisamment meilleure. Ceci est un plafond en dehors de la boîte. Il n'y a même pas elle. Le script sera pris en charge, bien que le travailleur de travail soit facile à réaliser par Python, complétez facilement le travail avec les exemples fournis.

Quatrième, Oozie

1, Avantages

Oozie fournit un modèle de HA apparemment fiable (Seekin B / C Je ne le vois pas), il fournit un soutien local Pour les emplois liés à Hadoop, car il est construit pour les écosystèmes.

2, Inconvénients

Pour planifier un processus commun, ce n'est pas un candidat RC'est bien parce que la définition XML est très longue et encombrante d'identifier le travail léger.

Cela nécessite également des paramètres périphériques significatifs. Vous avez besoin d'un cluster de zooDeper, d'une DB, d'un égaliseur de charge, chaque bouton doit exécuter un conteneur d'applications Web comme Tomcat. L'installation initiale prend également un peu de temps, pas amicale avec l'utilisateur d'origine.

5, fonction étape

1, avantages

La fonction d'Amazon Cloud Step est tout à fait nouvelle (lancée en décembre 2016), cependant, il semble y avoir très optimiste à l'avenir. Avec la plate-forme cloud et la caractéristique de l'HA de la fonction Lambda, il estime presque que cela peut facilement se développer (comparé aux autres).

Il fournit également une fonction utile pour le traitement universel des flux de travail, tels que l'attente des activités de support et de sortie. Il est également assez bon marché: si vous n'exécutez pas de milliers d'emplois, cela peut être meilleur que de gérer votre propre groupe.

2, Inconvénients

ne peuvent être utilisés que par les utilisateurs AWS.Si vous n'êtes pas l'un d'entre eux, il y a un moyen.Lambda nécessite des travaux supplémentaires pour mener des rapports de production / de déploiement.Il n'y a pas d'interface utilisateur (très bonne, mais c'est vraiment juste une console).Par conséquent, si vous avez besoin d'un niveau de surveillance, vous devez la construire vous-même en utilisant CloudWatch.