« CUDA has some drawbacks, but it as a very concise API doing a lot of stuff on your behalf. It lets you write "kernels" (compute shaders) in C++ and manage all the heavy stuff for you (creating buffers on device, host, compiling and scheduling the shaders ... if you did some OpenGL or Vulkan you know what we are talking about 🙂 ). It is now available on Rust, and it's provided by NVIDIA so it should be here to stay. It seems to be also very realistic about what safe Rust and the borrow checker can and can't do. There are other alternatives like the (recently rebooted ?) rust-gpu which, for now, only allows you to write compute shaders in pure Rust, but leaves you alone with the GPU, and an hypothetical spirv-oxide which should not be locked-in on NVIDIA hardware. »

« Contrairement à ce que le titre de cet article laisse penser, il s'agit d'un panorama de quelques changements en cours dans le paysage de l'IA ; et d' une analyse sur la façon dont l'écosystème pourrait s'en trouver modifié. »

« Un court article de blog pour déployer le nécessaire pour faire tourner des LLM en local en utilisant Ollama, OpenWebUI et Docker sur une infrastructure NVIDIA. »

« Do you have a recent NVidia graphic card with Raytracing (RTX) ? If yes chances are your GPU embeds a TPU (Tensor Processing Unit) to accelerate the RayTracing with machine learning (Deep Learning Super Sampling, DLSS). OK, enough of acronyms, and let's dive deep in what those Tensor Process Unit are, with an in depth explanation of what is inside the now legacy first version. Back in the days Google really though out of the box to tackle energy efficiency for Machine Learning. With for example 8 bits registers, and a way of loading registers in matrix multiplication unit inspired from biology: the "systolic array". From the article: "The design is called systolic because the data flows through the chip in waves, reminiscent of the way that the heart pumps blood". »

« CUDA is both a platform and an API that permit to offload computation to Nvidia GPUs. This hands-on like tutorial allow C (and with little effort C++) programmers to make their first step on Nvidia CUDA programming, from printing "Hello, world" to adding two million-entries vectors. Be wary though, as the right CUDA-Toolkit installation may be time consuming, depending on the platform, your Nvidia GPU, its installed driver ... it may be easier if some have access to GPU enabled nodes on clusters. »

« NVidia a annoncé un SDK qui permet de limiter la bande passante en visioconférence en ayant recours à des techniques liées à l'apprentissage plutôt qu'à des compressions classiques. L'article explique très pédagogiquement le principe des réseaux GAN. »

« L'application Folding@home a enregistré un regain d'intérêt très fort avec la crise du Covid 19, surtout après un appel à contributions lancé par Nvidia pour mettre à contribution des ressources GPU. »

« Eric Haines de NVidia et co-auteur du livre Ray Tracing Gems (dont la version numérique est téléchargeable gratuitement https://www.realtimerendering.com/raytracinggems/) publie une série de sept vidéos, dont 4 sont déjà en ligne, d'introduction au ray tracing. »