Yoshua Bengio, pionnier de l’IA, exhorte le Canada à construire un supercalculateur public d’un milliard de dollars
[ad_1]
Yoshua Bengio réfléchit depuis un certain temps à ce qui se passerait si la technologie qu’il a aidé à mettre au point devenait plus intelligente que les humains – et échappait à notre contrôle.
“Nous pourrions fondamentalement créer de nouveaux types d’entités vivantes dont la propre préservation constitue une valeur plus importante que la nôtre”, a-t-il déclaré.
Des entités, s’inquiète-t-il, qui, avec l’aide de robots, pourraient un jour « parcourir la planète ».
Mais Bengio, directeur scientifique de Mila, l’institut d’intelligence artificielle basé à Montréal qu’il a fondé en 1993, envisage de plus en plus de solutions politiques pour parer à un scénario aussi sinistre.
Installé dans sa résidence spacieuse mais sans prétention des années 1950, aux abords du parc du Mont-Royal, le gourou de l’IA sent clairement que le temps presse, tant lorsqu’il s’agit d’établir sa propre liste de choses à faire pour 2024 que lorsqu’il s’agit de contenir des gouvernements de plus en plus puissants. systèmes d’intelligence artificielle.
“Il s’agira d’abord de réglementation”, dit-il, “mais à terme, ils voudront reprendre un certain contrôle, peut-être dans un premier temps en construisant leur propre infrastructure.”
Cette infrastructure comprend la construction d’ordinateurs beaucoup plus puissants, empilés avec des milliers d’unités de traitement graphique (GPU), des composants idéaux pour former ou tester de grands modèles de langage d’IA comme ChatGPT.
Il aimerait voir cette classe de machines construites au Canada, financées par les gouvernements, afin que les entités publiques disposent de la puissance de feu numérique nécessaire pour suivre le rythme des géants technologiques privés qu’elles seront chargées de surveiller ou de réglementer.
“Je pense que le gouvernement devra comprendre à un moment donné, le plus tôt possible, espérons-le, qu’il est important pour (eux) d’avoir ce muscle”, a déclaré Bengio.
Bengio affirme qu’une telle ressource de calcul intensif coûterait environ un milliard de dollars, et lorsqu’il a présenté l’idée aux gouvernements du Canada, la réponse a été jusqu’à présent : « nous écoutons ».
“C’est beaucoup d’argent”, a-t-il reconnu.
Le Royaume-Uni investit gros
Cependant, d’autres gouvernements dans le monde dépensent déjà beaucoup d’argent pour construire des ordinateurs publics plus puissants pour l’IA, notamment au Royaume-Uni, qui a annoncé l’automne dernier un ordinateur appelé Isambard-AI qui serait construit à l’Université de Bristol dans le cadre de la construction d’ordinateurs publics plus puissants pour l’IA. d’un plan de 900 millions de livres sterling pour « transformer la capacité informatique du Royaume-Uni ».
Cet ordinateur serait 10 fois plus rapide que tout autre ordinateur actuellement en fonctionnement au Royaume-Uni, et environ 20 fois plus rapide que le supercalculateur accessible au public le plus puissant au Canada, le Narval, hébergé à l’Université de Montréal. École de technologie supérieure», selon la directrice de l’organisme qui le gère, Suzanne Talon de Calcul Québec.
L’organisme à but non lucratif, financé par Ottawa, la province et le milieu universitaire, est l’un des cinq Sites hôtes nationauxappelés clusters, pour les superordinateurs publics canadiens ainsi que d’autres installations dans les universités de Victoria, Vancouver, Waterloo et Toronto.
Entre ses deux supercalculateurs, Narval et Beluga, Calcul Québec dispose actuellement d’un total de 1 300 GPU à la disposition des chercheurs universitaires du Canada.
Mais cela est éclipsé par des géants de la technologie comme Meta, qui prévoit à lui seul de disposer de l’équivalent de 600 000 de ces GPU d’ici la fin de l’année pour tenter de développer l’intelligence artificielle générale.
Talon affirme que même si plus gros n’est pas nécessairement meilleur, il y a un manque de ressources informatiques publiques disponibles pour les chercheurs canadiens, les serveurs de Calcul Québec fonctionnant déjà à plein temps, sauf pour la maintenance.
« Il ne fait aucun doute qu’il n’y a pas eu d’investissement vraiment massif dans l’IA au Canada et la principale question est donc : « Quel est le bon montant ? » », dit-elle.
Même si Talon affirme que cela pourrait impliquer de travailler sur des modèles plus « frugaux », il est important que la recherche publique ne soit pas laissée pour compte.
“Je veux dire que nous devons comprendre comment fonctionne l’IA, nous avons donc besoin d’y avoir accès”, a-t-elle déclaré.
Concurrence pour les GPU
Siva Reddy, professeur adjoint de linguistique et d’informatique à l’Université McGill et également membre universitaire principal de Mila, estime que les ressources totales combinées disponibles pour la recherche publique sur l’IA au Canada représentent environ un dixième de ce qu’une seule grande technologie américaine l’entreprise l’a fait – juste pour elle-même.
Il affirme que même si les chercheurs ont accès aux GPU via des clusters informatiques comme Narval, l’échelle reste un problème.
Même si Reddy affirme qu’il est possible d’exécuter des modèles d’IA plus petits comme Meta’s Llama avec ce qui est actuellement disponible dans les clusters informatiques publics au Canada, ce n’est pas le cas pour les plus grands comme ChatGPT.
“Ce modèle, oubliez-le, nous ne pouvons pas l’exécuter dans nos clusters”, a-t-il déclaré.
En ce qui concerne, par exemple, la recherche sur la discrimination ou les préjugés systémiques, Reddy affirme que même si l’analyse des modèles d’IA est possible avec la puissance de calcul publique actuelle, la création de nouveaux modèles à partir de zéro ou l’ajustement de modèles existants ne l’est pas, à moins de monopoliser les ressources partagées par des centaines. de chercheurs à travers le pays.
Il affirme que la formation d’un grand modèle de langage comme ChatGPT nécessite un accès continu à 1 000 GPU pendant 34 jours.
“Alors imaginez que si vous voulez prendre toute cette grappe, cela signifie que personne ne peut faire de travail pendant un mois”, explique Reddy. “Nous avons donc besoin d’une supergrappe à elle seule pour les projets prioritaires.”
Bien qu’il soutienne “absolument” l’idée de Bengio de construire un ou plusieurs superordinateurs publics pour travailler sur de grands modèles de langage, Reddy souligne qu’il est important de reconnaître l’impact environnemental de l’énergie nécessaire à leur fonctionnement.
“Le fonctionnement de ces systèmes nécessite également beaucoup d’émissions de carbone.”
Les gouvernements travaillent à une solution
James Peltier, qui supervise le Research Computing Group et les services informatiques de l’Université Simon Fraser, site du supercalculateur CEDAR, estime que les cinq sites du cluster font un « travail décent » en répondant aux besoins des chercheurs canadiens, mais que la demande dépasse largement l’offre.
« Actuellement, nous ne pouvons répondre qu’à environ 20 % des besoins en GPU et 40 % en CPU », dit-il. Les processeurs sont des unités centrales de traitement, qui ne sont pas aussi bien adaptées à la formation de modèles d’IA.
Mais Peltier affirme qu’en matière de dépenses dans les infrastructures d’IA, les entreprises privées axées sur le profit ne sont pas soumises aux mêmes contraintes budgétaires que les gouvernements, qui ont d’autres priorités de politique publique à financer, comme lutter contre le COVID-19 ou faire face à la crise. crise des opioïdes.
“Ils ne sont pas confrontés aux mêmes défis concurrents”, dit-il.
Le cabinet du ministre de l’Industrie François-Philippe Champagne affirme que le gouvernement travaille avec des partenaires pour soutenir les chercheurs canadiens avec la « capacité de calcul sécurisée et abordable » nécessaire à l’IA.
La porte-parole Audrey Champoux affirme que Champagne s’entretient régulièrement avec Bengio, qui est coprésident du Conseil ministériel sur l’IA, et que Bengio a soulevé la question des ordinateurs IA et de la sécurité.
Au Québec, un porte-parole du ministre de l’Économie, Pierre Fitzgibbon, a déclaré que même si Bengio n’a pas soulevé la question de la construction d’un supercalculateur d’IA à l’échelle de ce qui est construit au Royaume-Uni, le ministre est disponible pour discuter d’un tel projet avec lui.
Réguler pour le présent et pour l’avenir
En plus de plaider en faveur d’une plus grande infrastructure publique d’IA, Bengio redouble également d’appels à un contrôle plus démocratique et à une réglementation gouvernementale plus poussée du secteur de l’intelligence artificielle.
L’été dernier, il a comparu devant une sous-commission du Sénat américain sur la réglementation de l’IA et, à l’automne, il a été chargé de présider un rapport « État de la science » sur les capacités et les risques de l’IA de pointe, issu d’un sommet mondial sur la sécurité organisé par le Royaume-Uni.
Au Canada, Bengio a critiqué le gouvernement fédéral pour avoir adopté trop lentement le projet de loi C-27, qui comprend des dispositions visant à réglementer partiellement l’IA et est actuellement à l’étude devant le comité permanent de l’industrie et de la technologie de la Chambre.
C’est parce que certains contestent le fait de mettre autant l’accent sur les risques existentiels de l’IA en le disant. distrait des problèmes plus réels que la technologie provoque déjà, ou que des règles excessives pourraient étouffer l’innovation.
Interrogé sur ses avertissements selon lesquels les conséquences catastrophiques seraient considérées comme un « battage médiatique sur l’IA », Bengio affirme qu’il est possible d’atténuer les dommages actuels causés par la technologie, tout en se préparant à des risques plus hypothétiques.
“Pour moi, il n’y a pas de séparation”, dit-il. “Nous devons gérer les risques et minimiser les dommages. Maintenant, demain, dans cinq ans, dix ans et vingt ans (à partir de maintenant).”
[ad_2]