211service.com
La réalité désordonnée et secrète derrière la tentative d'OpenAI de sauver le monde
Greg Brockman, co-fondateur et CTO ; Ilya Sutskever, co-fondateur et scientifique en chef ; et Dario Amodei, directeur de recherche. Christie Là Klok
Chaque année, les employés d'OpenAI votent sur le moment où ils pensent que l'intelligence artificielle générale, ou AGI, arrivera enfin. C'est surtout considéré comme une façon amusante de créer des liens, et leurs estimations diffèrent considérablement. Mais dans un domaine qui débat encore de la possibilité de systèmes autonomes de type humain, la moitié des laboratoires parient que cela se produira probablement d'ici 15 ans.
Au cours des quatre courtes années de son existence, OpenAI est devenu l'un des principaux laboratoires de recherche sur l'IA au monde. Il s'est fait un nom en produisant des recherches qui font constamment la une des journaux, aux côtés d'autres poids lourds de l'IA comme DeepMind d'Alphabet. C'est aussi une coqueluche de la Silicon Valley, comptant parmi ses fondateurs Elon Musk et le légendaire investisseur Sam Altman.
Surtout, il est adulé pour sa mission. Son objectif est d'être le premier à créer AGI, une machine dotée des pouvoirs d'apprentissage et de raisonnement d'un esprit humain. Le but n'est pas la domination du monde ; le laboratoire veut plutôt s'assurer que la technologie est développée en toute sécurité et que ses avantages sont répartis uniformément dans le monde.
L'implication est qu'AGI pourrait facilement se déchaîner si le développement de la technologie suit la voie de la moindre résistance. L'intelligence étroite, le genre d'IA maladroite qui nous entoure aujourd'hui, a déjà servi d'exemple. Nous savons maintenant que les algorithmes sont biaisés et fragiles ; ils peuvent perpétrer de grands abus et de grandes tromperies ; et le coût de leur développement et de leur fonctionnement tend à concentrer leur pouvoir entre les mains de quelques-uns. Par extrapolation, l'AGI pourrait être catastrophique sans les conseils attentifs d'un berger bienveillant.
OpenAI veut être ce berger, et il a soigneusement conçu son image pour s'adapter à la facture. Dans un domaine dominé par de riches sociétés, elle a été fondée en tant qu'association à but non lucratif. Son première annonce a déclaré que cette distinction lui permettrait de créer de la valeur pour tous plutôt que pour les actionnaires. Son charte – un document si sacré que la rémunération des employés est liée à leur respect – déclare en outre que le principal devoir fiduciaire d'OpenAI est envers l'humanité. Atteindre l'AGI en toute sécurité est si important, poursuit-il, que si une autre organisation était sur le point d'y arriver en premier, OpenAI cesserait de rivaliser avec elle et collaborerait à la place. Ce récit séduisant plaît aux investisseurs et aux médias, et en juillet, Microsoft a injecté au laboratoire un nouveau milliard de dollars.
Le logo d'OpenAI accroché dans son bureau. Christie Hemm Klok
Mais trois jours au bureau d'OpenAI - et près de trois douzaines d'entretiens avec des employés, des collaborateurs, des amis et d'autres experts passés et actuels dans le domaine - suggèrent une image différente. Il y a un décalage entre ce que l'entreprise défend publiquement et la façon dont elle fonctionne à huis clos. Au fil du temps, il a permis à une concurrence féroce et à une pression croissante pour toujours plus de financement d'éroder ses idéaux fondateurs de transparence, d'ouverture et de collaboration. Beaucoup de ceux qui travaillent ou ont travaillé pour l'entreprise ont insisté sur l'anonymat parce qu'ils n'étaient pas autorisés à parler ou craignaient des représailles. Leurs récits suggèrent qu'OpenAI, malgré toutes ses nobles aspirations, est obsédé par le maintien du secret, la protection de son image et la fidélisation de ses employés.
Depuis sa conception la plus ancienne, l'IA en tant que domaine s'est efforcée de comprendre l'intelligence de type humain, puis de la recréer. En 1950, Alan Turing, le célèbre mathématicien et informaticien anglais, a commencé un document avec la désormais célèbre provocation Les machines peuvent-elles penser ? Six ans plus tard, captivé par l'idée lancinante, un groupe de scientifiques se réunit au Dartmouth College pour officialiser la discipline.
C'est l'une des questions les plus fondamentales de toute l'histoire intellectuelle, n'est-ce pas ? déclare Oren Etzioni, PDG de l'Allen Institute for Artificial Intelligence (AI2), un laboratoire de recherche sur l'IA à but non lucratif basé à Seattle. C'est comme, comprenons-nous l'origine de l'univers? Comprenons-nous la matière ?
Le problème, c'est qu'AGI est toujours restée vague. Personne ne peut vraiment décrire à quoi cela pourrait ressembler ou le minimum de ce qu'il devrait faire. Il n'est pas évident, par exemple, qu'il n'y ait qu'un seul type d'intelligence générale ; l'intelligence humaine pourrait n'être qu'un sous-ensemble. Il existe également des opinions divergentes sur l'objectif que pourrait servir l'AGI. Dans une vision plus romancée, une intelligence artificielle non entravée par le besoin de sommeil ou l'inefficacité de la communication humaine pourrait aider à résoudre des problèmes complexes tels que le changement climatique, la pauvreté et la faim.
Mais le consensus retentissant dans le domaine est que de telles capacités avancées prendraient des décennies, voire des siècles, s'il est en effet possible de les développer. Beaucoup craignent également que la poursuite de cet objectif avec trop de zèle puisse se retourner contre eux. Dans les années 1970 et à nouveau à la fin des années 80 et au début des années 90, le domaine a surpromis et sous-livré. Du jour au lendemain, les financements se sont taris, laissant de profondes cicatrices chez toute une génération de chercheurs. Le domaine ressemblait à un marigot, explique Peter Eckersley, jusqu'à récemment directeur de la recherche au sein du groupe industriel Partnership on AI, dont OpenAI est membre.
Une salle de conférence au premier étage nommée Infinite Jest. Christie Hemm Klok
Dans ce contexte, OpenAI est entré dans le monde avec fracas le 11 décembre 2015. Ce n'était pas le premier à déclarer ouvertement qu'il poursuivait AGI ; DeepMind l'avait fait cinq ans plus tôt et avait été racheté par Google en 2014. Mais OpenAI semblait différent. D'une part, le prix affiché était choquant : l'entreprise commencerait avec 1 milliard de dollars d'investisseurs privés, dont Musk, Altman et le cofondateur de PayPal, Peter Thiel.
La liste des investisseurs étoilés a suscité une frénésie médiatique, tout comme la liste impressionnante des premiers employés : Greg Brockman, qui avait dirigé la technologie pour la société de paiement Stripe, serait le directeur de la technologie ; Ilya Sutskever, qui avait étudié avec le pionnier de l'IA Geoffrey Hinton, serait directeur de recherche ; et sept chercheurs, fraîchement diplômés des meilleures universités ou issus d'autres entreprises, composeraient l'équipe technique de base. (En février dernier, Musk annoncé qu'il se séparait de l'entreprise en raison de désaccords sur sa direction. Un mois plus tard, Altman démissionné en tant que président de l'accélérateur de startups Y Combinator pour devenir le PDG d'OpenAI.)
Mais plus que tout, le statut à but non lucratif d'OpenAI a fait une déclaration. Il sera important d'avoir une institution de recherche de premier plan qui peut donner la priorité à un bon résultat pour tous sur son propre intérêt, le annonce a dit . Les chercheurs seront fortement encouragés à publier leurs travaux, que ce soit sous forme d'articles, d'articles de blog ou de code, et nos brevets (le cas échéant) seront partagés avec le monde. Bien qu'il n'ait jamais rendu la critique explicite, l'implication était claire : d'autres laboratoires, comme DeepMind, ne pouvaient pas servir l'humanité parce qu'ils étaient contraints par des intérêts commerciaux. Pendant qu'ils étaient fermés, OpenAI serait ouvert .
Dans un paysage de recherche de plus en plus privatisé et axé sur les gains financiers à court terme, OpenAI offrait une nouvelle façon de financer les progrès sur les plus gros problèmes. C'était une lueur d'espoir, déclare Chip Huyen, un expert en apprentissage automatique qui a suivi de près le parcours du laboratoire.
À l'intersection des rues 18th et Folsom à San Francisco, le bureau d'OpenAI ressemble à un mystérieux entrepôt. Le bâtiment historique a des panneaux gris terne et des fenêtres teintées, avec la plupart des nuances baissées. Les lettres PIONEER BUILDING - les vestiges de son ancien propriétaire, la Pioneer Truck Factory - s'enroulent au coin de la rue dans une peinture rouge délavée.
A l'intérieur, l'espace est clair et aéré. Le premier étage dispose de quelques espaces communs et de deux salles de conférence. L'un, d'une taille saine pour les grandes réunions, s'appelle A Space Odyssey; l'autre, plus une cabine téléphonique glorifiée, s'appelle Infinite Jest. C'est l'espace auquel je suis limité lors de ma visite. Il m'est interdit de visiter les deuxième et troisième étages, qui abritent les bureaux de chacun, plusieurs robots et à peu près tout ce qui est intéressant. Quand vient le temps de leurs entretiens, les gens viennent me voir. Un employé forme un œil vigilant sur moi entre les réunions.
Le bâtiment des pionniers. wikimedia commons / tfinc
Le beau jour de ciel bleu où j'arrive pour rencontrer Brockman, il a l'air nerveux et sur ses gardes. Nous n'avons jamais donné à quelqu'un autant d'accès auparavant, dit-il avec un sourire hésitant. Il porte des vêtements décontractés et, comme beaucoup chez OpenAI, arbore une coupe de cheveux informe qui semble refléter une mentalité efficace et sans fioritures.
Brockman, 31 ans, a grandi dans une ferme d'agrément dans le Dakota du Nord et a eu ce qu'il décrit comme une enfance calme et concentrée. Il a trait des vaches, ramassé des œufs et est tombé amoureux des mathématiques tout en étudiant seul. En 2008, il est entré à Harvard avec l'intention de faire une double majeure en mathématiques et en informatique, mais il est rapidement devenu impatient d'entrer dans le monde réel. Il a abandonné un an plus tard, est entré au MIT à la place, puis a abandonné à nouveau quelques mois plus tard. La deuxième fois, sa décision était définitive. Une fois qu'il a déménagé à San Francisco, il n'a jamais regardé en arrière.
Brockman m'emmène déjeuner pour me retirer du bureau lors d'une réunion de toute l'entreprise. Dans le café d'en face, il parle d'OpenAI avec intensité, sincérité et émerveillement, établissant souvent des parallèles entre sa mission et des réalisations marquantes de l'histoire des sciences. Il est facile d'apprécier son charisme de leader. Racontant des passages mémorables des livres qu'il a lus, il se concentre sur le récit préféré de la vallée, la course de l'Amérique à la lune. (Une histoire que j'aime vraiment est l'histoire du concierge, dit-il, faisant référence à un conte célèbre mais probablement apocryphe. Kennedy s'approche de lui et lui demande : « Qu'est-ce que tu fais ? aider à mettre un homme sur la lune ! ») Il y a aussi le chemin de fer transcontinental (c'était en fait le dernier mégaprojet entièrement réalisé à la main… un projet d'une immense envergure qui était totalement risqué) et l'ampoule à incandescence de Thomas Edison (un comité d'éminents experts a déclaré : » Ça ne marchera jamais », et un an plus tard, il a expédié).
Greg Brockman, co-fondateur et CTO. Christie Hemm Horloge
Brockman est conscient du pari qu'OpenAI a pris et conscient qu'il évoque le cynisme et l'examen minutieux. Mais à chaque référence, son message est clair : les gens peuvent être sceptiques autant qu'ils veulent. C'est le prix d'une grande audace.
Ceux qui ont rejoint OpenAI au début se souviennent de l'énergie, de l'excitation et du sens de l'objectif. L'équipe était petite - formée par un réseau étroit de relations - et la direction est restée lâche et informelle. Tout le monde croyait en une structure plate où les idées et les débats seraient les bienvenus de n'importe qui.
Musk a joué un rôle non négligeable dans la construction d'une mythologie collective. La façon dont il me l'a présenté était 'Écoutez, je comprends'. AGI est peut-être loin, mais que se passe-t-il si ce n'est pas le cas ? » se souvient Pieter Abbeel, professeur à l'UC Berkeley qui y a travaillé, avec plusieurs de ses étudiants, au cours des deux premières années. « Et s'il n'y a que 1 % ou 0,1 % de chances que cela se produise dans les cinq à dix prochaines années ? Ne devrions-nous pas y réfléchir très attentivement? Cela a résonné en moi, dit-il.
Mais l'informalité a également conduit à un certain flou de direction. En mai 2016, Altman et Brockman ont reçu la visite de Dario Amodei, alors chercheur chez Google, qui leur a dit que personne ne comprenait ce qu'ils faisaient. Dans un récit publié dans Le new yorker , il n'était pas clair que l'équipe elle-même le savait non plus. Notre objectif en ce moment… est de faire ce qu'il y a de mieux à faire, a déclaré Brockman. C'est un peu vague.
Néanmoins, Amodei a rejoint l'équipe quelques mois plus tard. Sa sœur, Daniela Amodei, avait déjà travaillé avec Brockman, et il connaissait déjà de nombreux membres d'OpenAI. Après deux ans, à la demande de Brockman, Daniela a également rejoint. Imaginez, nous avons commencé avec rien, dit Brockman. Nous avions juste cet idéal que nous voulions qu'AGI aille bien.
Tout au long de notre déjeuner, Brockman récite la charte comme une écriture, une explication de chaque aspect de l'existence de l'entreprise.
En mars 2017, 15 mois plus tard, la direction a réalisé qu'il était temps de se concentrer davantage. Alors Brockman et quelques autres membres principaux ont commencé à rédiger un document interne pour tracer un chemin vers AGI. Mais le processus a rapidement révélé une faille fatale. Alors que l'équipe étudiait les tendances dans le domaine, elle réalisa que rester une organisation à but non lucratif était financièrement intenable. Les ressources informatiques que d'autres dans le domaine utilisaient pour obtenir des résultats révolutionnaires doublaient tous les 3,4 mois . Il est devenu clair que pour rester pertinents, dit Brockman, ils auraient besoin de suffisamment de capital pour égaler ou dépasser cette montée en puissance exponentielle. Cela nécessitait un nouveau modèle organisationnel qui pourrait rapidement amasser de l'argent, tout en restant fidèle à la mission.
À l'insu du public - et de la plupart des employés - c'est dans cet esprit qu'OpenAI a publié sa charte en avril 2018. Le document réarticulait les valeurs fondamentales du laboratoire mais modifiait subtilement le langage pour refléter la nouvelle réalité. Parallèlement à son engagement à éviter de permettre des utilisations de l'IA ou de l'IAG qui nuisent à l'humanité ou concentrent indûment le pouvoir, il a également souligné le besoin de ressources. Nous prévoyons avoir besoin de mobiliser des ressources substantielles pour remplir notre mission, a-t-il déclaré, mais agirons toujours avec diligence pour minimiser les conflits d'intérêts entre nos employés et parties prenantes qui pourraient compromettre un large bénéfice.
Nous avons passé beaucoup de temps à itérer en interne avec les employés pour faire adhérer l'ensemble de l'entreprise à un ensemble de principes, dit Brockman. Des choses qui devaient rester invariantes même si nous changions de structure.
De gauche à droite : Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (membre de l'équipe technique), Greg Brockman, Alec Radford (chef de l'équipe des langues techniques), Christine Payne (membre de l'équipe technique), Ilya Sutskever et Chris Berner (chef des infrastructures). Christie Hemm Klok
Ce changement de structure s'est produit en mars 2019. OpenAI a abandonné son statut purement à but non lucratif en créant une branche à but lucratif plafonnée - une organisation à but lucratif avec une limite de 100 fois les rendements des investisseurs, bien que supervisée par un conseil d'administration faisant partie d'une entité à but non lucratif. Peu de temps après, il a annoncé l'investissement d'un milliard de dollars de Microsoft (bien qu'il n'ait pas révélé qu'il était réparti entre l'argent et les crédits à Azure, la plate-forme de cloud computing de Microsoft).
Comme on pouvait s'y attendre, cette décision a déclenché une vague d'accusations selon lesquelles OpenAI reviendrait sur sa mission. Dans un billet sur Actualités des pirates peu de temps après l'annonce, un utilisateur a demandé comment une limite de 100 fois serait limitée : les premiers investisseurs de Google ont reçu un retour sur leur capital d'environ 20 fois, ont-ils écrit. Votre pari est que vous aurez une structure d'entreprise qui rapportera des ordres de grandeur plus que Google ... mais vous ne voulez pas 'concentrer indûment le pouvoir' ? Comment cela fonctionnera-t-il ? Qu'est-ce que le pouvoir, sinon la concentration des ressources ?
Cette décision a également secoué de nombreux employés, qui ont exprimé des préoccupations similaires. Pour apaiser les troubles internes, la direction a rédigé une FAQ dans le cadre d'une série de documents de transition hautement protégés. Puis-je faire confiance à OpenAI ? une question posée. Oui, commença la réponse, suivie d'un paragraphe d'explication.
La charte est l'épine dorsale d'OpenAI. Il sert de tremplin à toutes les stratégies et actions du laboratoire. Tout au long de notre déjeuner, Brockman le récite comme une écriture, une explication de chaque aspect de l'existence de l'entreprise. (Au fait, il clarifie à mi-chemin d'une récitation, je suppose que je connais toutes ces lignes parce que j'ai passé beaucoup de temps à les étudier pour les comprendre exactement. Ce n'est pas comme si je lisais ceci avant la réunion.)
Comment allez-vous vous assurer que les humains continuent à vivre des vies significatives à mesure que vous développez des capacités plus avancées ? Comme nous l'avons écrit, nous pensons que son impact devrait être de donner à chacun la liberté économique, de lui permettre de trouver de nouvelles opportunités qui ne sont pas imaginables aujourd'hui. Comment allez-vous vous structurer pour répartir équitablement AGI ? Je pense qu'un service public est la meilleure analogie pour la vision que nous avons. Mais encore une fois, tout est soumis à la charte. Comment rivaliser pour atteindre l'AGI en premier sans compromettre la sécurité ? Je pense qu'il y a absolument cet important exercice d'équilibre, et notre meilleure chance pour cela est ce qu'il y a dans la charte.
9 AVRIL 2018 5 MINUTES DE LECTURE OpenAI
Pour Brockman, le respect strict du document est ce qui fait fonctionner la structure d'OpenAI. L'alignement interne est considéré comme primordial : tous les employés à temps plein doivent travailler dans le même bureau, à quelques exceptions près. Pour l'équipe politique, en particulier Jack Clark, le directeur, cela signifie une vie partagée entre San Francisco et Washington, DC. Cela ne dérange pas Clark - en fait, il est d'accord avec la mentalité. Ce sont les moments intermédiaires, comme le déjeuner avec des collègues, dit-il, qui aident à garder tout le monde sur la même longueur d'onde.
À bien des égards, cette approche fonctionne clairement : l'entreprise a une culture impressionnante d'uniformité. Les employés travaillent de longues heures et parlent sans cesse de leur travail à travers les repas et les heures sociales ; beaucoup fréquentent les mêmes soirées et souscrivent à la philosophie rationnelle de altruisme efficace . Ils font des blagues en utilisant la terminologie de l'apprentissage automatique pour décrire leur vie : de quoi votre vie est-elle fonction ? Pour quoi optimisez-vous ? Tout est fondamentalement une fonction minmax. Pour être juste, d'autres chercheurs en IA aiment aussi faire cela, mais les personnes familières avec OpenAI sont d'accord : plus que d'autres dans le domaine, ses employés traitent la recherche en IA non pas comme un travail mais comme une identité. (En novembre, Brockman marié sa petite amie d'un an, Anna, au bureau sur fond de fleurs disposées en logo OpenAI. Sutskever a agi en tant qu'officiant; une main de robot était le porteur de l'anneau.)
Mais à un moment donné au milieu de l'année dernière, la charte est devenue plus qu'un simple sujet de conversation à l'heure du déjeuner. Peu de temps après le passage à un profit plafonné, la direction a institué une nouvelle structure de rémunération basée en partie sur l'absorption de la mission par chaque employé. Parallèlement aux colonnes telles que l'expertise en ingénierie et la direction de la recherche dans un onglet de feuille de calcul intitulé Échelle technique unifiée, la dernière colonne décrit les attentes liées à la culture pour chaque niveau. Niveau 3 : Vous comprenez et intériorisez la charte OpenAI. Niveau 5 : Vous vous assurez que tous les projets sur lesquels vous et vos coéquipiers travaillez sont conformes à la charte. Niveau 7 : Vous êtes responsable du respect et de l'amélioration de la charte, et de tenir les autres membres de l'organisation responsables de faire de même.
La première fois que la plupart des gens ont entendu parler d'OpenAI, c'était le 14 février 2019. Ce jour-là, le laboratoire annoncé une nouvelle recherche impressionnante : un modèle qui pourrait générer des essais et des articles convaincants en appuyant simplement sur un bouton. Donnez-lui une phrase de Le Seigneur des Anneaux ou le début d'un (faux) reportage sur le vol à l'étalage de Miley Cyrus, et il cracherait paragraphe après paragraphe de texte dans la même veine.
Mais il y avait aussi un hic : le modèle, appelé GPT-2, était trop dangereux pour être diffusé, ont déclaré les chercheurs. Si une technologie aussi puissante tombait entre de mauvaises mains, elle pourrait facilement être militarisée pour produire de la désinformation à grande échelle.
La réaction des scientifiques a été immédiate. OpenAI faisait un coup de pub, ont dit certains. GPT-2 n'était pas assez avancé pour être une menace. Et si c'était le cas, pourquoi annoncer son existence et empêcher ensuite l'examen public ? Il semblait qu'OpenAI essayait de tirer parti de la panique autour de l'IA, déclare Britt Paris, professeur adjoint à l'Université Rutgers qui étudie la désinformation générée par l'IA.
Jack Clark, directeur des politiques. Christie Hemm Horloge
En mai, OpenAI avait révisé sa position et annoncé des plans pour une version échelonnée. Au cours des mois suivants, il a successivement dribblé des versions de plus en plus puissantes de GPT-2. Dans l'intervalle, il s'est également engagé avec plusieurs organismes de recherche pour examiner le potentiel d'abus de l'algorithme et développer des contre-mesures. Enfin, il a publié le code complet en novembre, après avoir trouvé, Ça disait , aucune preuve solide d'utilisation abusive jusqu'à présent.
Au milieu des accusations continues de recherche de publicité, OpenAI a insisté sur le fait que GPT-2 n'avait pas été une cascade. Il s'agissait plutôt d'une expérience mûrement réfléchie, convenue après une série de discussions et de débats internes. Le consensus était que même si cela avait été légèrement exagéré cette fois, l'action créerait un précédent pour la gestion de recherches plus dangereuses. Par ailleurs, la charte avait prédit que les soucis de sûreté et de sécurité obligeraient progressivement le laboratoire à réduire nos publications traditionnelles à l'avenir.
C'est également l'argument que l'équipe politique a soigneusement exposé dans son article de blog de suivi de six mois , dont ils ont discuté alors que j'assistais à une réunion. Je pense que cela fait définitivement partie du cadre de la réussite, a déclaré Miles Brundage, chercheur en politiques, mettant en évidence quelque chose dans un document Google. Le fil conducteur de cette section devrait être : Nous avons fait une chose ambitieuse, maintenant certaines personnes la reproduisent, et voici quelques raisons pour lesquelles cela a été bénéfique.
Mais la campagne médiatique d'OpenAI avec GPT-2 a également suivi un schéma bien établi qui a rendu méfiante la communauté de l'IA au sens large. Au fil des ans, les grandes annonces de recherche éclaboussantes du laboratoire ont été accusées à plusieurs reprises d'alimenter le cycle de battage médiatique de l'IA. Plus d'une fois, les critiques ont également accusé le laboratoire de parler de ses résultats au point d'être mal interprétés. Pour ces raisons, de nombreux acteurs du domaine ont eu tendance à garder OpenAI à distance.
Les images de couverture des publications de recherche d'OpenAI sont accrochées au mur de son bureau. Christie Hemm Klok
Cela n'a pas empêché le laboratoire de continuer à consacrer des ressources à son image publique. En plus des articles de recherche, il publie ses résultats dans des articles de blog d'entreprise hautement produits pour lesquels il fait tout en interne, de l'écriture à la production multimédia en passant par la conception des images de couverture pour chaque version. À un moment donné, il a également commencé à développer un documentaire sur l'un de ses projets pour rivaliser un film de 90 minutes sur AlphaGo de DeepMind . Il a finalement transformé l'effort en une production indépendante, que Brockman et sa femme, Anna, financent maintenant en partie. (J'ai également accepté d'apparaître dans le documentaire pour fournir une explication technique et un contexte à la réalisation d'OpenAI. Je n'ai pas été rémunéré pour cela.)
Et comme le retour de flamme a augmenté, il en va de même pour les discussions internes pour y faire face. Les employés sont devenus frustrés par les critiques extérieures constantes, et la direction craint que cela ne sape l'influence du laboratoire et sa capacité à embaucher les meilleurs talents. Un document interne met en évidence ce problème et une stratégie de sensibilisation pour le résoudre : afin d'avoir une influence politique au niveau gouvernemental, nous devons être considérés comme la source la plus fiable sur la recherche sur le ML [apprentissage automatique] et l'AGI, indique une ligne sous la politique. section. Un soutien et un soutien généralisés de la part de la communauté de la recherche sont non seulement nécessaires pour acquérir une telle réputation, mais amplifieront notre message. Un autre, sous Stratégie, se lit comme suit : 'Traitez explicitement la communauté ML comme une partie prenante des communications'. Changez notre ton et nos messages externes de manière à ne les contrarier que lorsque nous choisissons intentionnellement de le faire.
Il y avait une autre raison pour laquelle GPT-2 avait déclenché une telle réaction brutale. Les gens ont estimé qu'OpenAI revenait une fois de plus sur ses promesses antérieures d'ouverture et de transparence. Avec la nouvelle de la transition à but lucratif un mois plus tard, la recherche retenue a rendu les gens encore plus méfiants. Se pourrait-il que la technologie ait été gardée secrète en vue de l'octroi de licences à l'avenir ?
Ilya Sutskever, co-fondateur et scientifique en chef. Christie Hemm Klok
Mais les gens ne savaient pas que ce n'était pas la seule fois où OpenAI avait choisi de cacher ses recherches. En fait, il avait gardé un autre effort entièrement secret.
Il existe deux théories techniques dominantes sur ce qu'il faudra pour atteindre l'AGI. Dans l'un, toutes les techniques nécessaires existent déjà ; c'est juste une question de savoir comment les mettre à l'échelle et les assembler. Dans l'autre, il doit y avoir un paradigme entièrement nouveau ; l'apprentissage en profondeur, la technique dominante actuelle en IA, ne suffira pas.
La plupart des chercheurs se situent quelque part entre ces extrêmes, mais OpenAI s'est toujours assis presque exclusivement à l'extrémité du spectre de l'échelle et de l'assemblage. La plupart de ses percées ont été le produit de l'utilisation de ressources de calcul considérablement plus importantes dans des innovations techniques développées dans d'autres laboratoires.
Brockman et Sutskever nient que ce soit leur seule stratégie, mais les recherches étroitement surveillées du laboratoire suggèrent le contraire. Une équipe appelée Foresight mène des expériences pour tester jusqu'où ils peuvent faire avancer les capacités de l'IA en formant des algorithmes existants avec des quantités de données et une puissance de calcul de plus en plus importantes. Pour la direction, les résultats de ces expériences ont confirmé son instinct selon lequel la stratégie tout-en-un et axée sur le calcul du laboratoire est la meilleure approche.
Pendant environ six mois, ces résultats ont été cachés au public car OpenAI considère cette connaissance comme son principal avantage concurrentiel. Les employés et les stagiaires ont reçu pour instruction explicite de ne pas les révéler, et ceux qui ont quitté ont signé des accords de non-divulgation. Ce n'est qu'en janvier que l'équipe, sans fanfare habituelle, a discrètement posté un document sur l'une des principales bases de données open source pour la recherche en IA. Les personnes qui ont vécu le secret intense autour de l'effort ne savaient pas quoi penser de ce changement. Notamment, un autre papier avec des résultats similaires de différents chercheurs avaient été publiés quelques mois plus tôt.
Christie Là Klok
Au début, ce niveau de secret n'a jamais été l'intention, mais il est depuis devenu habituel. Au fil du temps, la direction s'est éloignée de sa croyance initiale selon laquelle l'ouverture est le meilleur moyen de construire une AGI bénéfique. Maintenant, l'importance de garder le silence est imposée à ceux qui travaillent avec ou au laboratoire. Cela inclut de ne jamais parler aux journalistes sans l'autorisation expresse de l'équipe des communications. Après mes premières visites au bureau, alors que je commençais à contacter différents employés, j'ai reçu un e-mail de la responsable des communications me rappelant que toutes les demandes d'entretien devaient passer par elle. Lorsque j'ai refusé, disant que cela compromettrait la validité de ce que les gens m'avaient dit, elle a demandé aux employés de la tenir informée de ma communication. Un message Slack de Clark, un ancien journaliste, a par la suite félicité les gens pour avoir gardé le silence alors qu'un journaliste reniflait.
Dans une déclaration répondant à ce secret accru, un porte-parole d'OpenAI a renvoyé à une section de sa charte. Nous prévoyons que les problèmes de sûreté et de sécurité réduiront nos publications traditionnelles à l'avenir, indique la section, tout en augmentant l'importance du partage de la recherche sur la sécurité, les politiques et les normes. Le porte-parole a également ajouté : De plus, chacune de nos versions est soumise à un processus d'infohazard pour évaluer ces compromis et nous voulons publier nos résultats lentement pour comprendre les risques et les impacts potentiels avant de nous lancer dans la nature.
L'un des plus grands secrets est le projet sur lequel OpenAI travaille ensuite. Des sources me l'ont décrit comme l'aboutissement de ses quatre années de recherche précédentes : un système d'IA formé sur des images, du texte et d'autres données utilisant des ressources informatiques massives. Une petite équipe a été affectée à l'effort initial, dans l'espoir que d'autres équipes, ainsi que leur travail, finiront par se joindre. Le jour où cela a été annoncé lors d'une réunion de toute l'entreprise, les stagiaires n'étaient pas autorisés à y assister. Les personnes familières avec le plan offrent une explication : la direction pense que c'est la voie la plus prometteuse pour atteindre AGI.
L'homme qui dirige la stratégie d'OpenAI est Dario Amodei, l'ex-Googler qui est maintenant directeur de recherche. Quand je le rencontre, il me semble être une version plus anxieuse de Brockman. Il a une sincérité et une sensibilité similaires, mais un air d'énergie nerveuse instable. Il a l'air distant quand il parle, les sourcils froncés, une main tirant distraitement sur ses boucles.
Amodei divise la stratégie du laboratoire en deux parties. La première partie, qui dicte comment il prévoit d'atteindre des capacités d'IA avancées, il la compare au portefeuille de paris d'un investisseur. Différentes équipes d'OpenAI jouent différents paris. L'équipe linguistique, par exemple, mise sur une théorie postulant que l'IA peut développer une compréhension significative du monde par le simple apprentissage d'une langue. L'équipe de robotique, en revanche, avance une théorie opposée selon laquelle l'intelligence nécessite une incarnation physique pour se développer.
Comme dans le portefeuille d'un investisseur, tous les paris n'ont pas le même poids. Mais pour des raisons de rigueur scientifique, tous devraient être testés avant d'être jetés. Amodei indique GPT-2, avec ses textes générés automatiquement remarquablement réalistes, comme un exemple de la raison pour laquelle il est important de garder l'esprit ouvert. Le langage pur est une direction dont le domaine et même certains d'entre nous étaient quelque peu sceptiques, dit-il. Mais maintenant, c'est comme, 'Wow, c'est vraiment prometteur.'
Au fil du temps, à mesure que différents paris s'élèvent au-dessus des autres, ils attireront des efforts plus intenses. Ensuite, ils se croiseront et se combineront. L'objectif est d'avoir de moins en moins d'équipes qui finissent par s'effondrer en une seule direction technique pour AGI. C'est le processus exact que le dernier projet top secret d'OpenAI a soi-disant déjà commencé.
Dario Amodei, directeur de recherche. Christie Hemm Horloge
La deuxième partie de la stratégie, explique Amodei, se concentre sur la manière de sécuriser ces systèmes d'IA en constante évolution. Cela implique de s'assurer qu'ils reflètent les valeurs humaines, peuvent expliquer la logique derrière leurs décisions et peuvent apprendre sans nuire aux gens dans le processus. Les équipes dédiées à chacun de ces objectifs de sécurité cherchent à développer des méthodes pouvant être appliquées à travers les projets à mesure qu'ils mûrissent. Les techniques développées par l'équipe d'explicabilité, par exemple, peuvent être utilisées pour exposer la logique derrière les constructions de phrases de GPT-2 ou les mouvements d'un robot.
Amodei admet que cette partie de la stratégie est quelque peu aléatoire, basée moins sur des théories établies dans le domaine et davantage sur l'intuition. À un moment donné, nous allons construire AGI, et à ce moment-là, je veux me sentir bien dans ces systèmes fonctionnant dans le monde, dit-il. Tout ce où je ne me sens pas bien actuellement, je crée et recrute une équipe pour se concentrer sur cette chose.
Malgré toute la publicité et le secret, Amodei a l'air sincère quand il dit cela. La possibilité d'un échec semble le déranger.
Nous sommes dans la position délicate de : nous ne savons pas à quoi ressemble AGI, dit-il. Nous ne savons pas quand cela arrivera. Puis, avec une conscience de soi prudente, il ajoute : L'esprit d'une personne donnée est limité. La meilleure chose que j'ai trouvée est d'embaucher d'autres chercheurs en sécurité qui ont souvent des visions différentes de la chose naturelle à laquelle j'aurais pu penser. Je veux ce genre de variation et de diversité parce que c'est la seule façon de tout saisir.
Le fait est qu'OpenAI a en fait peu de variations et de diversité - un fait martelé lors de mon troisième jour au bureau. Au cours du seul déjeuner qui m'a été accordé pour me mêler aux employés, je me suis assis à la table la plus visiblement diversifiée par une large marge. Moins d'une minute plus tard, j'ai réalisé que les gens qui y mangeaient n'étaient pas, en fait, des employés d'OpenAI. Neuralink, la startup de Musk travaillant sur les interfaces ordinateur-cerveau, partage le même bâtiment et la même salle à manger.
Daniela Amodei, responsable des opérations humaines. Christie Hemm Klok
Selon un porte-parole du laboratoire, sur les plus de 120 employés, 25 % sont des femmes ou non binaires. Il y a également deux femmes dans l'équipe de direction et l'équipe de direction est composée à 30% de femmes, a-t-elle déclaré, sans toutefois préciser qui faisait partie de ces équipes. (Les quatre cadres de la suite C, y compris Brockman et Altman, sont des hommes blancs. Sur plus de 112 employés que j'ai identifiés sur LinkedIn et d'autres sources, la majorité était blanche ou asiatique.)
En toute honnêteté, ce manque de diversité est typique de l'IA. L'année dernière un rapport de l'institut de recherche AI Now, basé à New York, a constaté que les femmes ne représentaient que 18 % des auteurs des principales conférences sur l'IA, 20 % des professeurs d'IA et 15 % et 10 % du personnel de recherche de Facebook et Google, respectivement. Il y a certainement encore beaucoup de travail à faire dans les universités et l'industrie, a déclaré le porte-parole d'OpenAI. La diversité et l'inclusion sont des choses que nous prenons au sérieux et que nous cherchons continuellement à améliorer en travaillant avec des initiatives telles que WiML, Girl Geek et notre programme Scholars.
En effet, OpenAI a tenté d'élargir son vivier de talents. Il a lancé son programme de boursiers à distance pour les minorités sous-représentées en 2018. Mais seuls deux des huit premiers boursiers sont devenus des employés à temps plein, même s'ils ont rapporté des expériences positives. La raison la plus courante de refus de séjour : l'obligation de vivre à San Francisco. Pour Nadja Rhodes, une ancienne universitaire qui est maintenant ingénieure principale en apprentissage automatique dans une entreprise basée à New York, la ville avait tout simplement trop peu de diversité.
Mais si la diversité est un problème pour l'industrie de l'IA en général, c'est quelque chose de plus existentiel pour une entreprise dont la mission est de diffuser la technologie de manière égale à tout le monde. Le fait est qu'il manque de représentation des groupes les plus susceptibles d'être laissés pour compte.
Ce n'est pas du tout clair non plus comment OpenAI prévoit de distribuer les avantages de l'AGI à toute l'humanité, comme le dit fréquemment Brockman en citant sa mission. La direction en parle en termes vagues et n'a pas fait grand-chose pour étoffer les détails. (En janvier, le Future of Humanity Institute de l'Université d'Oxford a publié un rapport en collaboration avec le laboratoire proposant de répartir les bénéfices en distribuant un pourcentage des bénéfices. Mais les auteurs ont cité d'importants problèmes non résolus concernant… la manière dont il serait mis en œuvre.) C'est mon plus gros problème avec OpenAI, déclare un ancien employé, qui s'est exprimé sous couvert d'anonymat.
Christie Là Klok
Ils utilisent des pratiques techniques sophistiquées pour tenter de répondre aux problèmes sociaux avec l'IA, fait écho à Britt Paris de Rutgers. Il semble qu'ils n'aient pas vraiment les capacités de comprendre réellement le social. Ils comprennent juste que c'est une sorte d'endroit lucratif pour se positionner en ce moment.
Brockman convient que l'expertise technique et sociale sera finalement nécessaire pour qu'OpenAI puisse accomplir sa mission. Mais il n'est pas d'accord sur le fait que les problèmes sociaux doivent être résolus dès le début. Comment intégrez-vous exactement l'éthique ou ces autres perspectives ? Et quand les apportez-vous, et comment ? Une stratégie que vous pourriez poursuivre consiste, dès le début, à essayer d'intégrer tout ce dont vous pourriez avoir besoin, dit-il. Je ne pense que cette stratégie est susceptible de réussir.
La première chose à comprendre, dit-il, est à quoi ressemblera AGI. Ce n'est qu'alors qu'il sera temps de s'assurer que nous comprenons les ramifications.
L'été dernier, dans les semaines qui ont suivi le passage à un modèle de profit plafonné et l'injection d'un milliard de dollars de Microsoft, la direction a assuré aux employés que ces mises à jour ne modifieraient pas fonctionnellement l'approche d'OpenAI en matière de recherche. Microsoft était bien aligné sur les valeurs du laboratoire, et tout effort de commercialisation serait loin ; la poursuite des questions fondamentales resterait toujours au cœur du travail.
Pendant un certain temps, ces assurances ont semblé tenir et les projets ont continué comme ils étaient. De nombreux employés ne savaient même pas quelles promesses, le cas échéant, avaient été faites à Microsoft.
Mais ces derniers mois, la pression de la commercialisation s'est intensifiée et la nécessité de produire de la recherche lucrative ne semble plus être quelque chose dans un avenir lointain. En partageant sa vision 2020 pour le laboratoire en privé avec les employés, le message d'Altman est clair : OpenAI doit gagner de l'argent pour faire de la recherche, et non l'inverse.
Il s'agit d'un compromis difficile mais nécessaire, ont déclaré les dirigeants, un compromis qu'ils ont dû faire faute de riches donateurs philanthropiques. En revanche, AI2, basée à Seattle, une organisation à but non lucratif qui fait progresser de manière ambitieuse la recherche fondamentale sur l'IA, reçoit ses fonds d'un pool d'argent autonome (au moins dans un avenir prévisible) laissé par feu Paul Allen, un milliardaire surtout connu pour avoir cofondé Microsoft.
Mais la vérité est qu'OpenAI est confronté à ce compromis non seulement parce qu'il n'est pas riche, mais aussi parce qu'il a fait le choix stratégique d'essayer d'atteindre AGI avant tout le monde. Cette pression l'oblige à prendre des décisions qui semblent s'éloigner de plus en plus de son intention initiale. Il se penche sur le battage médiatique dans sa hâte d'attirer des financements et des talents, garde ses recherches dans l'espoir de garder le dessus et poursuit une stratégie lourde en calcul, non pas parce qu'il est considéré comme le seul moyen d'AGI, mais parce qu'il semble être le plus rapide .
Pourtant, OpenAI est toujours un bastion de talents et de recherche de pointe, rempli de personnes qui s'efforcent sincèrement de travailler pour le bien de l'humanité. En d'autres termes, il contient toujours les éléments les plus importants et il est encore temps qu'il change.
Vers la fin de mon entretien avec Rhodes, l'ancienne chercheuse à distance, je lui demande la seule chose à propos d'OpenAI que je ne devrais pas omettre de ce profil. Je suppose qu'à mon avis, il y a des problèmes, commence-t-elle avec hésitation. Certains d'entre eux viennent peut-être de l'environnement auquel il est confronté; certains d'entre eux proviennent du type de personnes qu'il a tendance à attirer et d'autres qu'il exclut.
Mais pour moi, j'ai l'impression qu'ils font quelque chose d'un peu bien, dit-elle. J'ai l'impression que les gens là-bas essaient sérieusement.
Mettre à jour: Nous avons apporté quelques modifications à cette histoire après qu'OpenAI nous ait demandé de clarifier que lorsque Greg Brockman a dit qu'il ne pensait pas qu'il était possible d'intégrer l'éthique dans… dès le début lors du développement de l'IA, il voulait dire que les questions éthiques ne pouvaient pas être résolus dès le début, non pas qu'ils ne pouvaient pas être résolus dès le début. De plus, après avoir abandonné Harvard, il a été transféré directement au MIT plutôt que d'attendre un an. Aussi, qu'il n'a pas été élevé dans une ferme, mais 'dans une ferme d'agrément'. Brockman considère cette distinction importante.
De plus, nous avons précisé que bien qu'OpenAI ait effectivement 'renoncé à son statut d'organisation à but non lucratif', un conseil d'administration qui fait partie d'une entité à but non lucratif la supervise toujours, et qu'OpenAI publie ses recherches sous la forme d'articles de blog d'entreprise ainsi que, pas dans lieu de documents de recherche. Nous avons également corrigé la date de publication d'un article par des chercheurs extérieurs et l'affiliation de Peter Eckersley (ancien, pas actuel, directeur de recherche de Partnership on AI, qu'il a récemment quitté).