Introduction à la programmation des machines parallèles

Résumé du document

Les machines séquentielles ont montré leurs limitations et la puissance des processeurs commence à atteindre son maximum. Pour réussir à obtenir des résultats correctes en un temps raisonnable, une solution consiste à utiliser plusieurs processeurs en parallèle, chacun s'occupant d'une partie des données du problème. Ce cours vient pour :

- Définir et montrer la nécessité du parallélisme,
- Étudier l'architecture des machines parallèles (types et modèles des systèmes parallèles et les réseaux d'interconnexion des processeurs),
- Définir les différentes techniques d'évaluation des algorithmes parallèles,
- Étudier l'environnement de programmation parallèle MPI (...)

Extraits

[...] L'avènement du parallélisme ? . dans le but de résoudre rapidement des problèmes de grande taille. Quels sont les problèmes au fort potentiel de parallélisme? quel est le modèle de calcul utilisé? Quel est le degrés de spécialisation des machines à un problème donné? Comment choisir les algorithmes? Quelle efficacité peut-on espérer? Comment ces machines se programment-elles? Quels langages faut-il? [...]

[...] Gottlieb. Benjamin Cummings. Advanced Computer Architecture : Parallelism, Scalability, Programmability, K. Hwang. McGraw-Hill. Designing and Building Parallel Programs, I. Foster. Addison-Wesley, http www.mcs.anl.gov/dbpp/. Practical Parallel Computing, H. S. [...]

[...] On peut distinguer trois grands groupes de machines: < number > < number > 1.1 Un peu d'histoire Les machines vectorielles multi-processeurs: Ces machines sont développées à partir des machines vectorielles mono-processeur des années 70, Les processeurs sont très puissants, 50-300 Mflops et plus pour les machines plus récentes (Flops = Floating point Operatins Per Second et M (mega) = 220), mais en faible nombre, entre 1 et 16. Toutes ces machines disposent d'un mémoire partagée accessible à tous les processeurs. Ces machines peuvent atteindre des puissances de 1 à 10 Gflops mais elles sont très chères avec un rapport coût/performance pas vraiment intéressant . < number > < number > 1.1 Un peu d'histoire Les multi-processeurs à mémoire distribuées: Ces machines se caractérisent par l'utilisation de processeurs ordinaires en grand nombre à 1024 ou plus. [...]

[...] Il est très important de pouvoir produire des machines ayant un excellent rapport coût/performance. < number > < number > 1. L'avènement du parallélisme ? Généralement, l'accroissement de la puissance d'un élément de calcul entraîne une explosion des coûts. En revanche, il est possible d'atteindre de grandes puissances de calcul à des coûts compétitifs en faisant coopérer de nombreux éléments de calcul de faible puissance, < number > < number > 1. L'avènement du parallélisme ? Une définition informelle de ce qu'est une machine parallèle: Une collection d'éléments de calcul capables de communiquer et de coopérer dans le but de résoudre rapidement des problèmes de grande taille Il est alors nécessaire de répondre à toute une série de questions: < number > < number > 1. [...]

[...] Morse. AP Professional. Algorithmes et Architectures Parallèles,M. Cosnard et D. Trystram.Inter´Editions. CPU Info Center, http ://infopad.eecs.berkeley.edu/CIC/. MPI subroutine reference: http://www.centenaire.jussieu.fr/ccr/Documentation/Calcul/ppe.htm http://www.lam-mpi.org Marc Snir & al. MPI: The complete Reference. Second Edition. MIT Press Volume The MPI core. [...]