Job queues, messages queues : état des lieux & retours d'expérience

Description

Lorsqu'on construit un site à forte charge, lorsqu'on met en place des interactions avec différents modules hétérogènes, on s'aperçoit assez vite qu'il est intéressant (indispensable ?) de pouvoir déléguer des jobs ou envoyer des messages d'un processus (ex: une page web) vers un worker séparé tournant potentiellement sur un autre serveur. S'il existe des solutions généralistes permettant de résoudre la plupart des problèmes au prix d'une certaine complexité (ex: RabbitMQ), il existe aussi des solutions plus spécialisées, qu'elles soient optimisées pour la diffusion de messages (ex: Kafka), de jobs (ex: Kestrel, Beanstalk, NSQ), le RPC (ex: Gearman), le stream processing (ex: Storm), voire des librairies bas niveau dédiées (ex: 0MQ). La présentation sera l'occasion de présenter les forces et faiblesses de chaque outil et d'apporter des retours d'expérience sur certains d'entre eux.

Informations complémentaires

• Fiche joind.in
• Audio : français

Après plus de 10 ans dans le groupe TF1, où il a été responsable infrastructure de tf1.fr puis directeur technique de wat.tv, Jean-François Bustarret a rejoint le monde des startups, et est maintenant directeur technique de socloz.fr, moteur de recherche géolocalisé de produits disponibles en magasin, sur lequel s'appuient SFR Shopping, Mappy Shopping, Le Guide, ...

Sylvain participe à des projets web depuis 2004 en tant que développeur, puis architecte logiciel, tout comme sur des problématiques de frontend que de backend, essentiellement en environnement LAMP. Il a, au cours de sa carrière, mené des projets sur les technologies les plus populaires de l’écosystème PHP (Zend Framework, Symfony, Joomla, Drupal, Typo3...) dans des secteurs aussi variés que la fonction publique (CNRS, Assurance Maladie) ou la fidélisation en ligne (Maximiles). Il est aujourd'hui lead developer chez SoCloz en charge de l'architecture et de la qualité.