« CUDA has some drawbacks, but it as a very concise API doing a lot of stuff on your behalf. It lets you write "kernels" (compute shaders) in C++ and manage all the heavy stuff for you (creating buffers on device, host, compiling and scheduling the shaders ... if you did some OpenGL or Vulkan you know what we are talking about 🙂 ). It is now available on Rust, and it's provided by NVIDIA so it should be here to stay. It seems to be also very realistic about what safe Rust and the borrow checker can and can't do. There are other alternatives like the (recently rebooted ?) rust-gpu which, for now, only allows you to write compute shaders in pure Rust, but leaves you alone with the GPU, and an hypothetical spirv-oxide which should not be locked-in on NVIDIA hardware. »

« Avez-vous déjà fait du rendu de texte sur GPU ? Moi non, lui oui. »

« Cet article souligne une fois de plus que les plus grandes avancées ne viennent pas forcément de là où on les attend: il présente 3 piliers de l'essor considérable de l'IA depuis 15 ans (les GPU, les réseaux de neurones et la constitution de larges collections de données) et montre que pour chacun d'entre eux l'accueil initial était très mitigé. Il est également très didactique et présente de manière claire et concise des concepts tels que les réseaux de neurones ou les GPU. »

« Do you have a recent NVidia graphic card with Raytracing (RTX) ? If yes chances are your GPU embeds a TPU (Tensor Processing Unit) to accelerate the RayTracing with machine learning (Deep Learning Super Sampling, DLSS). OK, enough of acronyms, and let's dive deep in what those Tensor Process Unit are, with an in depth explanation of what is inside the now legacy first version. Back in the days Google really though out of the box to tackle energy efficiency for Machine Learning. With for example 8 bits registers, and a way of loading registers in matrix multiplication unit inspired from biology: the "systolic array". From the article: "The design is called systolic because the data flows through the chip in waves, reminiscent of the way that the heart pumps blood". »

« University of Luxembourg share an impressive list of tutorials about HPC. It addresses scheduling (Slurm), GPU programming (CUDA), Containers (Singularity) to only name a few, and talks about research reproducibility. »

« CUDA is both a platform and an API that permit to offload computation to Nvidia GPUs. This hands-on like tutorial allow C (and with little effort C++) programmers to make their first step on Nvidia CUDA programming, from printing "Hello, world" to adding two million-entries vectors. Be wary though, as the right CUDA-Toolkit installation may be time consuming, depending on the platform, your Nvidia GPU, its installed driver ... it may be easier if some have access to GPU enabled nodes on clusters. »

« La "suprématie quantique" (i.e. réaliser un calcul qu'il est impossible de faire dans un temps raisonnable sur des infrastructures classiques) que Google prétendait avoir réalisée en 2019 a été battue en brèche: le même calcul a été réalisé sur un cluster GPU en une quinzaine d'heure, avec une marge de progression possible en utilisant un cluster plus large. »

« L'application Folding@home a enregistré un regain d'intérêt très fort avec la crise du Covid 19, surtout après un appel à contributions lancé par Nvidia pour mettre à contribution des ressources GPU. »

« Un exemple très simple pour vectoriser des calculs numpy sur GPU. »

« Depuis son départ d'Anaconda fin 2018 pour rejoindre Nvidia, Matthew Rocklin, lead développeur du projet Dask, a commencé à travailler sur l'utilisation de Dask sur GPU. Dans cet article, il nous présente quelques résultats préliminaires mais très prometteurs: sur un calcul donné en exemple, on passe d'un temps de calcul de 2h39 sur une machine single Core à 19s sur un cluster de 8 GPUs ! Le tout en quelques lignes de Python. »