Attention in transformers, visually explained [Romain (via le blog de Simon Willison)]
jeudi 18 avril 2024
« Grant Sanderson (3blue1brown) est un youtubeur qui publie des explications animées de concepts mathématiques. Ici, il parle du mécanisme d'attention des transformers qui sont à la base de certains grands modèles de langages (LLM).  »
jeudi 15 février 2024
« Comment classifier des images avec scikit-learn et son système de pipelines  »
Understanding Deep Learning [Kim (Paris), via Sébastien]
mercredi 8 novembre 2023
« Un ouvrage intéressant avec des notebooks d'exemples.  »
jeudi 12 octobre 2023
« Des chercheurs d'Anthropic (qui commercialise le modèle Claude, dont une des caractéristiques est sa grande fenêtre de contexte) présentent une approche permettant de décomposer des réseaux de neurones en unités interprétables.  »
jeudi 28 septembre 2023
« Les gros modèles de langage (Large Language Models ou LLMs) peuvent accomplir des tâches variées, mais leur donner des instructions n'est pas chose aisée et fait l'objet d'une discipline/appellation spécifique, le prompt engineering. Ce guide propose une entrée en matière.  »
jeudi 28 septembre 2023
« Des chercheurs ont développé une IA capable de détecter quelle touche d'un clavier a été pressée avec une précision de plus de 90%, que ce soit lors d'une visioconférence, ou avec un téléphone portable placé à proximité. Cela pose bien évidemment des questions de sécurité.  »
vendredi 8 septembre 2023
« Teachablemachine permet de créer des modèles d'apprentissage à partir de d'images ou de sons que l'on classifie au préalable, et que l'on peut ensuite exporter sous plusieurs formats (tensorflow.js, sur Arduino, ...)  »
jeudi 24 août 2023
« Maintenant qu'il a été prouvé par une équipe de recherche que les méthodes d'apprentissage dépassent les humains pour résoudre les CAPTCHA, ces techniques de détection de robot sont devenues obsolètes.  »
jeudi 24 août 2023
« Alors que des entreprises déposent des brevets sur des méthodes d'apprentissage à partir la production numérique d'une personne, voici un débat sur sur le statut jurique des avatars créés à partir de ces données.  »
mardi 8 août 2023
« Un panorama du fonctionnement, de l'utilisation et de l'actualité récente des LLMs (Large Language Models).  »
vendredi 16 juin 2023
« Do you have a recent NVidia graphic card with Raytracing (RTX) ? If yes chances are your GPU embeds a TPU (Tensor Processing Unit) to accelerate the RayTracing with machine learning (Deep Learning Super Sampling, DLSS). OK, enough of acronyms, and let's dive deep in what those Tensor Process Unit are, with an in depth explanation of what is inside the now legacy first version. Back in the days Google really though out of the box to tackle energy efficiency for Machine Learning. With for example 8 bits registers, and a way of loading registers in matrix multiplication unit inspired from biology: the "systolic array". From the article: "The design is called systolic because the data flows through the chip in waves, reminiscent of the way that the heart pumps blood".  »
jeudi 8 juin 2023
« Cet article couvrant la Apple Worldwide Developers Conference souligne qu'Apple s'est ostensiblement détaché du hype actuel autour des termes "intelligence artificielle ("IA/AI") et "grand modèle de langage (LLM)" et utilisant plutôt "machine learning" et "large transformer models", et en les présentant systématiquement comme un moyen et non une fin.  »
jeudi 11 mai 2023
« Simon Willison commente un document qui a récemment fuité de Google. L'auteur y développe la thèse que les producteurs et mainteneurs de gros modèles de langage ne disposent pas d'un avantage compétitif, et que les modèles ouverts, avec un "fine tuning" peu coûteux, sont une alternative nettement plus agile qui permet d'obtenir des résultats de qualité comparable.  »
jeudi 12 janvier 2023
« Comment tester les différents algorithmes de régression ou de classification de scikit-learn sur votre jeu de données avec le paquet LazyPredict. La syntaxe est intéressante (car proche de celle de scikit-learn), mais l'auteur conseille plutôt de se tourner vers d'autres alternatives.  »
jeudi 5 janvier 2023
« Une illustration flagrante une nouvelle fois des biais pouvant être induits par les jeux de données utilisés pour l'entraînement: l'AI "Lensa" qui propose de produire des avatars générés à partir de photos données en entrée a une fâcheuse tendance à sexualiser fortement les portraits de femme... et ça peut s'accentuer encore pour certaines catégories de personnes, comme les femmes d'origine asiatique.  »
jeudi 1 décembre 2022
« Based on AlphaZero, Alpha Tensor as quoted from the article is "the first artificial intelligence (AI) system for discovering novel, efficient, and provably correct algorithms for fundamental tasks such as matrix multiplication". Deepmind published its discoveries last week in Nature.  »
mercredi 2 février 2022
« Insights from data on O'Reilly's learning platform, some quotes that may be of interest:
  • "We start with an explosion of fantastic achievements that seem like science fiction—imagine, GPT-3 can write stories!"
  • "We know that C++ dominates game programming, but we suspect that it’s also coming to dominate embedded systems, which is really just a more formal way to say “internet of things.” We also suspect (but don’t know) that C++ is becoming more widely used to develop microservices."
 »
mercredi 26 janvier 2022
« L'article parle de l'Inde, mais le phénomène décrit est suffisamment important pour mériter l'attention de ceux qui se sentent concernés par le développement logiciel en général ...  »
jeudi 7 octobre 2021
« The quest to control nuclear fusion goes on, and the biggest tokamak (toroidal chamber with magnetic coils) yet to come for the ITER project comes with many challenges, that computer science, and more precisely HPC and deep learning tries to tackles.  »
lundi 7 juin 2021
« In this 'The Guardian' interview, Kate Crawford teases her book 'Atlas of AI', and raise a lot of questions about today's 'AI'.  »
lundi 19 avril 2021
« Un grand nombre d'algorithmes d'apprentissage machine ne se comportent pas bien si les variables étudiées ont des échelles très différentes. Cette articles fait un tour d'horizon des différentes techniques de mise à l'échelle (feature scaling) disponibles dans scikit-learn.  »
mercredi 10 mars 2021
« Des exemples de biais sexistes et racistes, ses effets pervers, mais aussi des exemples de correction.  »
lundi 25 janvier 2021
« Les matrices de très grandes dimensions posent généralement des problèmes de traitement importants. Quand elles sont creuses (contiennent principalement des valeurs nulles) certaines difficultés peuvent être souvent surmontées en utilisant des représentations adéquates. Le présent tutoriel fait un tour d'horizon des moyens offerts par SciPy pour travailler avec des matrices creuses (sparse matrix) en mettant l'accent sur les applications dans les champ de l'apprentissage machine (machine learning).  »
jeudi 8 octobre 2020
« Après une courte introduction à la gestion des extensions dans Jupyterlab, l'article présente une vingtaine d'extensions dont le champ d'application dépasse le domaine de l'apprentissage machine (Machine Learning) pour répondre à des besoins aussi divers que le debugging, le monitoring système, gestion de versions (via git) etc.  »
lundi 28 septembre 2020
« La préparation des données pour être utilisées efficacement dans un projet d'apprentissage machine (Machine Learning) n'a rien d'évident et constitue une partie non négligeable de l'effort à fournir sur un projet. Cet article constitue une bonne introduction en matière.  »
lundi 31 août 2020
« Un échange avec le responsable de l'IA chez Apple, qui explique la position de l'entreprise sur la question; le machine learning est présenté comme très intégré dans leurs process.  »
mercredi 12 juin 2019
« Comment une modification de l'algorithme de recommandation de Youtube a fait le jeu de l'alt-right américaine.  »
jeudi 16 mai 2019
« Microsoft vient de rendre public sur github l'algorithme de machine learning utilisé par son moteur de recherche Bing.  »
mercredi 10 avril 2019
« Un article très didactique sur ce que recouvrent les termes intelligence_artificielle, machine_learning et deep learning.  »
mercredi 10 avril 2019
« Ce site démystifie à travers une animation interactive d'une grande qualité la méthode dite d'estimation par noyau (en anglais "Kernel Density Estimation") qui permet de déterminer la densité de probabilité d'une variable aléatoire (voir aussi l'article Wikipédia et le tutoriel Scikit-learn).  »
mercredi 27 mars 2019
« Cet article explique comment Microsoft a trouvé une vulnérabilité dans un driver Huawei avec un algorithme de machine learning (cette vulnérabilité est corrigée dans les versions récentes des drivers)  »
jeudi 21 mars 2019
« nVidia lance sa "raspberry pi" orientée vers l'apprentissage automatique.  »
jeudi 14 février 2019
« Mozilla utilise maintenant pour Firefox un outil CleverCommit utilisant du machine learning pour identifier les commits contenant des bugs.  »
mercredi 6 juin 2018
« Ce livre, en cours de rédaction, se propose de fournir les outils mathématiques indispensables pour aborder les techniques courantes d'apprentissage machine (machine learning).  »
mercredi 31 janvier 2018
« Cet article expose brièvement l'algorithme K-Means et propose une implémentation très pédagogique en Python.  »
mercredi 17 janvier 2018
« Cet article offre une illustration de l'utilisation de TensorFlow sur un cas concret.  »
mercredi 13 décembre 2017
« Un guide pour utiliser l'API de reconnaissance d'objet de TensorFlow pour analyser des flux vidéo WebRTC.  »
mercredi 29 novembre 2017
« Entretien avec Mikko Hypponen, directeur de la recherche chez F-Secure, au sujet des nouveaux défis de la cybersécurité, en particulier le machine learning.  »
mercredi 15 novembre 2017
«  Un article pour expliquer ce que recouvrent précisément ces 3 termes. On trouve beaucoup d'articles différents sur ce thème avec une recherche Google mais la plupart se concentrent trop sur le deep learning sans expliquer clairement ce que recouvre le terme machine learning.  »
mercredi 15 novembre 2017
«  Contrairement aux résultats produits par les algorithmes classiques, ceux produits par les réseaux de neurones sont difficiles, parfois impossibles à analyser et à justifier. Cet article se penche sur les implications éthiques et juridiques de cette réalité.  »
mercredi 8 novembre 2017
«  Un article montrant comment la visualisation peut aider à comprendre le comportement des différentes couches d'un réseau de neurones.  »
mercredi 8 novembre 2017
«  Un livre très utile aux développeurs Python confrontés aux défis liés aux données (manipulation, visualisation) et à l'apprentissage machine ("machine learning")  »
mercredi 25 octobre 2017
«  Une nouvelle version de AlphaGo, à qui on a juste donné les règles du jeu et qui s’est entraînée contre elle-même. Cette version est apparemment plus performante et moins gourmande en ressources que les versions précédentes.  »
mercredi 18 octobre 2017
« Cet article est une introduction à Theano, bibliothèque d'apprentissage profond (deep learning) développée à l'Université de Montréal.  »
Tidy data [Sébastien]
mercredi 5 juillet 2017
« Une très intéressante réflexion sur la problématique de préparation des données, qui a été au centre de l'atelier "Préparation des données pour l'analyse statistique et le machine learning" animé par Sébastien Dejean (IMT) lors des JDEV 2017. »
mardi 23 mai 2017
« Une excellente présentation des différentes étapes d'un processus d'apprentissage machine (machine learning). »
jeudi 30 mars 2017
« Ce cours d’apprentissage profond (deep learning) a été présenté par Charles Ollion (Heuritech) et Olivier Grisel (Inria) dans le cadre du Master "Datascience" de l'Université Paris-Saclay. »
jeudi 2 mars 2017
« Le leçon inaugurale au Collège de France de Yann LeCun, professeur à l’université de New York et directeur du laboratoire de recherche en intelligence artificielle de Facebook (FAIR). »
jeudi 23 février 2017
« Comment Watson d’IBM peut aider à personnaliser les traitements contre le cancer... à condition d’écouter les recommandations des professionnels IT! »
vendredi 6 janvier 2017
« Ce billet est un témoignage sur une première expérience en apprentissage-machine (machine learning). »
vendredi 6 janvier 2017
« Un article où l'auteur nous explique comment il a fait pour entrainer un réseau de neurone avec TensorFlow et pour le faire jouer à Mario Kart. »
vendredi 30 septembre 2016
« Un tutoriel pour s'initier au Deep Learning en Python avec Keras. Les exemples sont vraiment bien faits et contiennent les pointeurs vers les ressources permettant de comprendre les concepts du Deep Learning. »
vendredi 3 juin 2016
« Un aperçu rapide des quatre techniques classiques d'ajustement de modèle pour l'apprentissage machine (machine learning). »
vendredi 13 mai 2016
« Une introduction à l'apprentissage supervisé, par Sebastian Raschka. »
Deep Learning [Alexandre]
vendredi 29 avril 2016
« Une introduction au deep learning. »
vendredi 4 mars 2016
« Elaborer des chaînes de traitement pour l'apprentissage machine (machine-learning), c'est fastidieux. A tel point que ça devient un bon sujet ... d'apprentissage machine. »
vendredi 23 octobre 2015
« Manipulation de données et machine learning en python »
vendredi 23 octobre 2015
« Une introduction à la recherche en plein texte. »
Entry point: Data [Christian]
vendredi 5 juin 2015
«  Une introduction aux outils python pour l'analyse des données et en particulier pour le "Machine Learning" »
vendredi 24 avril 2015
«  Une brève introduction aux concepts de base du "Machine Learning", par Sebastian Raschka, illustrés avec des implémentations en Python. »