Préface :

Ce livre est issu d'un cours de première année de master donné à l'Université Pierre et Marie Curie. Il s'agit d'une introduction à la théorie des groupes de Lie, à l'étude de leurs représentations, et à leurs applications à l'analyse.
Dans ce texte d'initiation nous ne présentons pas la théorie générale des groupes de Lie, qui suppose une connaissance des variétés différentiables. Nous nous limitons aux groupes de Lie linéaires, c'est-à-dire aux groupes de matrices, et les outils pour les étudier proviennent principalement de l'algèbre linéaire et du calcul différentiel.
Un groupe de Lie linéaire est défini comme un sous-groupe fermé du groupe linéaire GL(n,R). L'application exponentielle permet d'associer à un groupe de Lie linéaire son algèbre de Lie qui est une sous-algèbre de l'algèbre de Lie M(n,R) des matrices carrées munie du crochet [X,Y]=XY-YX. On montre ensuite que tout groupe de Lie linéaire est une variété plongée dans l'espace vectoriel M(n,R). C'est un avantage de la définition que nous donnons d'un groupe de Lie linéaire, mais il faut observer que, avec cette définition, toute sous-algèbre de Lie de M(n,R) n'est pas l'algèbre de Lie d'un groupe de Lie linéaire, c'est-à-dire d'un sous-groupe fermé de GL(n,R). La mesure de Haar d'un groupe de Lie linéaire est construite à l'aide des formes différentielles, et celles-ci sont utilisées pour établir plusieurs formules d'intégration qui associent la géométrie et l'analyse. Les propriétés de base des représentations des groupes compacts sont d'abord présentées dans la situation générale, puis explicitées dans le cas des groupes de Lie compacts non commutatifs les plus simples : le groupe spécial unitaire SU(2) et le groupe spécial orthogonal SO(3), et plus loin dans le cas des groupes unitaires U(n).

Les questions d'analyse que nous étudions tournent autour d'un objet central : l'opérateur de Laplace. L'analyse de Fourier sur un groupe de Lie linéaire compact permet de le diagonaliser, et la méthode de Fourier est en particulier toute naturelle pour résoudre le problème de Cauchy relatif à l'équation de la chaleur sur le groupe SU(2). De façon analogue l'analyse sur la sphère de R^n utilise la décomposition en harmoniques sphériques et révèle l'interaction qui existe entre le groupe orthogonal O(n) et l'analyse de Fourier sur R^n, comme par exemple les relations de Bochner-Hecke, et aussi la théorie du potentiel lorsqu'on développe une fonction harmonique en série de polynômes homogènes harmoniques.
Des questions de même nature se présentent quand on considère l'action du groupe orthogonal O(n) sur l'espace Sym(n,R) des matrices symétriques réelles, ou celle du groupe unitaire U(n) sur l'espace Herm(n,C) des matrices hermitiennes. L'expression de la partie radiale de l'opérateur de Laplace est une formule importante; elle conduit en particulier à l'évaluation d'intégrales orbitales via la résolution du problème de Cauchy pour l'équation de la chaleur sur l'espace des matrices hermitiennes Herm(n,C).
L'étude des représentations irréductibles du groupe unitaire U(n) se fait à partir du théorème du plus haut poids. Cette étude est un cas particulier de la théorie de Weyl des représentations irréductibles des groupes de Lie compacts.
Les caractères des représentations irréductibles du groupe unitaire s'expriment à l'aide des fonctions de Schur. Nous en établissons quelques propriétés combinatoires. Celles-ci permettent de donner, pour certaines fonctions centrales, des développements de Fourier explicites, et aussi des développements de Taylor généralisés de fonctions holomorphes d'une variable complexe matricielle.
Les questions d'analyse invariante traitées dans cet ouvrage illustrent comment les groupes de Lie interviennent dans de nombreux domaines : l'analyse matricielle, l'analyse de Fourier, l'analyse complexe, la physique mathématique.

Chaque chapitre est suivi d'exercices. Certaines questions que nous n'avons pas traitées dans le texte pour ne pas l'alourdir sont proposées sous forme de problèmes, comme, par exemple, au chapitre VII, la construction d'un isomorphisme équivariant entre l'espace des polynômes de deux variables homogènes de degré l et celui des polynômes de trois variables homogènes de degré l et harmoniques.

De très nombreux ouvrages traitent de la théorie des groupes de Lie. Nous en citons plusieurs dans la bibliographie. Nous nous sommes inspirés en plusieurs points de la présentation donnée par J. Hilgert et K.-H. Neeb dans leur livre Lie-Gruppen und Lie-Algebren, et nous avons plusieurs fois repris les élégantes argumentations que l'on trouve dans le livre de R. Mneimné, F. Testard, Introduction à la théorie des groupes de Lie classiques.

Nous remercions vivement Hervé Sabourin et Valério Toledano qui ont lu des versions préliminaires de ce texte et nous ont donné des indications précieuses pour l'améliorer.