How a stubborn computer scientist accidentally launched the deep learning boom [Sébastien]
jeudi 14 novembre 2024
« Cet article souligne une fois de plus que les plus grandes avancées ne viennent pas forcément de là où on les attend: il présente 3 piliers de l'essor considérable de l'IA depuis 15 ans (les GPU, les réseaux de neurones et la constitution de larges collections de données) et montre que pour chacun d'entre eux l'accueil initial était très mitigé. Il est également très didactique et présente de manière claire et concise des concepts tels que les réseaux de neurones ou les GPU. »
[histoire, deep_learning, gpu, cuda]
An in-depth look at Google’s first Tensor Processing Unit (TPU) [Laurent Steff]
vendredi 16 juin 2023
« Do you have a recent NVidia graphic card with Raytracing (RTX) ? If yes chances are your GPU embeds a TPU (Tensor Processing Unit) to accelerate the RayTracing with machine learning (Deep Learning Super Sampling, DLSS). OK, enough of acronyms, and let's dive deep in what those Tensor Process Unit are, with an in depth explanation of what is inside the now legacy first version. Back in the days Google really though out of the box to tackle energy efficiency for Machine Learning. With for example 8 bits registers, and a way of loading registers in matrix multiplication unit inspired from biology: the "systolic array". From the article: "The design is called systolic because the data flows through the chip in waves, reminiscent of the way that the heart pumps blood". »
[neural_networks, nvidia, machine_learning, google, gpu, raytracing]
A very comprehensive list of HPC tutorials [Laurent Steff]
jeudi 7 avril 2022
« University of Luxembourg share an impressive list of tutorials about HPC. It addresses scheduling (Slurm), GPU programming (CUDA), Containers (Singularity) to only name a few, and talks about research reproducibility. »
[hpc, gpu, parallélisme, calcul]
A two parts tutorial in C to learn how to offload computation to your Nvidia GPU [Laurent Steff]
jeudi 10 mars 2022
« CUDA is both a platform and an API that permit to offload computation to Nvidia GPUs. This hands-on like tutorial allow C (and with little effort C++) programmers to make their first step on Nvidia CUDA programming, from printing "Hello, world" to adding two million-entries vectors. Be wary though, as the right CUDA-Toolkit installation may be time consuming, depending on the platform, your Nvidia GPU, its installed driver ... it may be easier if some have access to GPU enabled nodes on clusters. »
[c, c++, gpu, nvidia, parallélisme]
Math may have caught up with Google’s quantum-supremacy claims [Sébastien]
mercredi 24 novembre 2021
« La "suprématie quantique" (i.e. réaliser un calcul qu'il est impossible de faire dans un temps raisonnable sur des infrastructures classiques) que Google prétendait avoir réalisée en 2019 a été battue en brèche: le même calcul a été réalisé sur un cluster GPU en une quinzaine d'heure, avec une marge de progression possible en utilisant un cluster plus large. »
[informatique_quantique, google, gpu]
The coronavirus pandemic turned Folding@Home into an exaFLOP supercomputer [Sébastien]
mercredi 15 avril 2020
« L'application Folding@home a enregistré un regain d'intérêt très fort avec la crise du Covid 19, surtout après un appel à contributions lancé par Nvidia pour mettre à contribution des ressources GPU. »
[calcul, covid_19, nvidia, gpu]
How to put that GPU to good use with Python [Vincent]
jeudi 21 février 2019
« Un exemple très simple pour vectoriser des calculs numpy sur GPU. »
[python, gpu, numpy]
Demandez le programme! Expérimentation intégration continue sur GPU. [21-02-2019]
jeudi 21 février 2019
GPU Dask Arrays, first steps [Alexandre]
mercredi 9 janvier 2019
« Depuis son départ d'Anaconda fin 2018 pour rejoindre Nvidia, Matthew Rocklin, lead développeur du projet Dask, a commencé à travailler sur l'utilisation de Dask sur GPU. Dans cet article, il nous présente quelques résultats préliminaires mais très prometteurs: sur un calcul donné en exemple, on passe d'un temps de calcul de 2h39 sur une machine single Core à 19s sur un cluster de 8 GPUs ! Le tout en quelques lignes de Python. »
[dask, python, gpu]