OpenAI: La fin de Google et de l'enseignement traditionnel ?

1er
OP
Anewone

Anewone

Elite
ChatGPT est un perroquet stochastique, il essaye de combler les trous par ce qui a "du sens" sur base de ce qu'il a déjà vu, et plus les années passent, plus il va s'entrainer avec des tokens qu'il a lui même déjà produit par le passé (les biologistes d'entre nous appellent ça la "dépression de consanguinité" :D). En d'autres mots, les LLM sont voués à disparaitre.. mais ça m'empêchera pas d'apprécier mon propre JARVIS.

Si un LLM Autoregressif est capable de menacer un job ou une activité, c'est que ce job ou cette activité n'avait pas lieu d'être, AI ou pas AI.

Exemple: les verbalistes (journalistes, marketeux, politiciens, les lobby,..), les empiriques naifs (les pseudo Dr/PhD qui ne comprennent pas la différence entre pre-asymptote et asymptote), les psychologues internet, la musique commerciale où 5 accords suffisent à la résumer, les régulateurs qui s'autocongratulent d'avoir sauvé l'Europe des dangers de l'AI mais ne sauraient pas t'expliquer ce que "back propragation" signifie, etc.

Imo, tous ces jobs ne disparaitront pas, on ne manquera jamais d'idiots (et j'aime bien la musique commerciale donc comptez moi dans les idiots), par contre nos filtres anti-spam vont devoir s'adapter car ces gens vont sophistiquer leur blabla pour se distinguer.

L'ironie c'est qu'ils utiliseront chatGPT pour se dinstinguer de chatGPT.
 
Dernière édition:

horrorman

Where is your god now ?
ChatGPT est un perroquet stochastique, il essaye de combler les trous par ce qui a "du sens" sur base de ce qu'il a déjà vu, et plus les années passent, plus il va s'entrainer avec des tokens qu'il a lui même déjà produit par le passé (les biologistes d'entre nous appellent ça la "dépression de consanguinité" :D). En d'autres mots, les LLM sont voués à disparaitre.. mais ça m'empêchera pas d'apprécier mon propre JARVIS.

Si un LLM Autoregressif est capable de menacer un job ou une activité, c'est que ce job ou cette activité n'avait pas lieu d'être, AI ou pas AI.

Exemple: les verbalistes (journalistes, marketeux, politiciens, les lobby,..), les empiriques naifs (les pseudo Dr/PhD qui ne comprennent pas la différence entre pre-asymptote et asymptote), les psychologues internet, la musique commerciale où 5 accords suffisent à la résumer, les régulateurs qui s'autocongratulent d'avoir sauvé l'Europe des dangers de l'AI mais ne sauraient pas t'expliquer ce que "back propragation" signifie, etc.

Imo, tous ces jobs ne disparaitront pas, on ne manquera jamais d'idiots (et j'aime bien la musique commerciale donc comptez moi dans les idiots), par contre nos filtres anti-spam vont devoir s'adapter car ces gens vont sophistiquer leur blabla pour se distinguer.

L'ironie c'est qu'ils utiliseront chatGPT pour se dinstinguer de chatGPT.
Je suis d'accord avec la qualification des jobs par le prisme de sa remplacabilité par l'AI. Cependant, l'aspect central de la question "AI danger ou non ? " est donc presque plus politique que technique finalement.
"Les gens sont ils prets à moins travailler car la machine rend notre travail obsolète ?"
"Comment repartir le travail restant ?" "Comment distribuer les richesses produites par un robot qu'un random peut faire fonctionner ?"

Sinon, concernant la récessivité des modèles évoqués, j'ai l'impression que c'est logique vu leur mode de fonctionnement, mais néanmoins pas si rapidement tarissable que cela. Sans compter que ça implique une question épistémologique ( qu'est-ce que la connaissance ?) dans la mesure où peut-être que la création intellectuelle n'est jamais que relier des points préexistants (ce qu'en théorie peut faire ChatGPT par exemple). Autrement dit, c'est comme écrire une partition : on n'invente pas des notes, mais on les assemble d'une manière originale... :)
 

THiBOo

Elite
Tu as une perception lucide de ce qu'est l'IA actuellement. Mais, il faut bien comprendre que l'IA ne cesse d'évoluer et je pense qu'on est qu'au début. Tout comme un artiste s'inspire des œuvres qui l'entourent pour créer la sienne avec sa propre touche, l'IA, à terme, sera capable d'interprétation et d'innovation. L'argument sur les limites de performance et de capacité de calcul sera aussi dépassé à mesure que la technologie avance. On n'est qu'au début et je pense qu'on est vraiment pas prêt pour la suite. o_O
@L@rgo_XIII
J'irais plus loin dans la réflexion ici car comme dit Elliot tu te bases sur les assistants actuels. Je t'invite à regarder le reportage sur alphaGo. L'IA en mode machine learning a battu le champion du monde de Go. Et "pire" elle a inventé un mouvement. Regarde le désespoir du champion à la fin c'est dur à voir. Et pire encore alphaGo zéro qui est en mode deep learning, au début se faisait défoncer par alphaGo qui avait battu le champion puis p'tit à p'tit en jouant contre elle même pr s'améliorer est devenue de plus en plus forte et au bout de 30j elle défonçait alphaGo.
 

elliot

Elite
J'avais vu un reportage intéressant sur une équipe de Français qui essayait une autre méthode d'apprentissage, plus proche de celle de l'humain. L'idée était la suivante : des robots devaient mettre une balle dans un trou de golf. Il y avait une équipe de robots qui s'exerçait via les modèles classiques, où on leur indiquait par deep learning le nombre de possibilités. Ces robots parvenaient rapidement à mettre la balle dans le trou. Cependant, il existait une autre technique, plus lente, que l'équipe jugeait potentiellement plus performante car elle s'inspirait de la manière dont les bébés apprennent. Il s'agissait de l'apprentissage par l'erreur : on ne donnait pas beaucoup d'instructions au robot, mais on le laissait enregistrer toutes les informations spatiales et observer le comportement de la balle, afin qu'il apprenne par lui-même en prenant en compte de nombreuses variables, à l'instar d'un enfant apprenant à marcher ou développant sa psychomotricité.

J'avais vu cela il y a longtemps, mais cette réflexion me semblait plus judicieuse, car elle se rapprochait de l'apprentissage humain. Au final, ce que nous essayons de faire, c'est de créer une intelligence qui ressemble le plus possible à la nôtre, mais avec une capacité de calcul supérieure.
 
@L@rgo_XIII
J'irais plus loin dans la réflexion ici car comme dit Elliot tu te bases sur les assistants actuels. Je t'invite à regarder le reportage sur alphaGo. L'IA en mode machine learning a battu le champion du monde de Go. Et "pire" elle a inventé un mouvement. Regarde le désespoir du champion à la fin c'est dur à voir. Et pire encore alphaGo zéro qui est en mode deep learning, au début se faisait défoncer par alphaGo qui avait battu le champion puis p'tit à p'tit en jouant contre elle même pr s'améliorer est devenue de plus en plus forte et au bout de 30j elle défonçait alphaGo.
C'est encore un exemple bien différent.

Là tu parles d'un jeu avec des règles claires et précises, définies depuis le début. C'est un cadre de fonctionnement très simple et idéal pour une IA.

De plus il faut distinguer 2 types d'entrainement. Celle basée sur
- les règles de base du jeu et l'IA "découvre" elle même les combinaisons gagnante (AlphaZero)
- un entrainement sur un ensemble de parties "types" jouées par de vrais joueurs (AlphaGo)

Le "move" original qui a été proposé par une IA correspond au 1er cas (AlphaZero).

A nouveau, ce n'est PAS le cas des IA génératives qu'on utilise pour le moment, les générateurs de texte (GPT) et images (StableDiffusion) sont clairement entrainé sur des bases de données existantes, et n'ont donc pas de réelle créativité (bien que ça soit discutable).



 
J'avais vu un reportage intéressant sur une équipe de Français qui essayait une autre méthode d'apprentissage, plus proche de celle de l'humain. L'idée était la suivante : des robots devaient mettre une balle dans un trou de golf. Il y avait une équipe de robots qui s'exerçait via les modèles classiques, où on leur indiquait par deep learning le nombre de possibilités. Ces robots parvenaient rapidement à mettre la balle dans le trou. Cependant, il existait une autre technique, plus lente, que l'équipe jugeait potentiellement plus performante car elle s'inspirait de la manière dont les bébés apprennent. Il s'agissait de l'apprentissage par l'erreur : on ne donnait pas beaucoup d'instructions au robot, mais on le laissait enregistrer toutes les informations spatiales et observer le comportement de la balle, afin qu'il apprenne par lui-même en prenant en compte de nombreuses variables, à l'instar d'un enfant apprenant à marcher ou développant sa psychomotricité.

J'avais vu cela il y a longtemps, mais cette réflexion me semblait plus judicieuse, car elle se rapprochait de l'apprentissage humain. Au final, ce que nous essayons de faire, c'est de créer une intelligence qui ressemble le plus possible à la nôtre, mais avec une capacité de calcul supérieure.
C'est exactement ce dont je veux parler pour le Go.
Screenshot 2023-09-29 at 09.08.25.png



Et jusqu'à preuve du contraire on a pas encore appris la grammaire ni l'orthographe à chat GPT. Et encore moins on ne lui a pas appris en le laissant générer n'importe quoi et en contrôlant si l'interlocuteur humain a "comrpis".

Les "règles" de base de la communication humaine sont quand même plus compliquées à modéliser que

1) Les règles d'un jeu de société
2) Les règles de la physiques de base pour qu'une balle arrive dans un trou.
 
  • J'aime
Les réactions: elliot

horrorman

Where is your god now ?
Science étonnante à ce que je vois :D
 

elliot

Elite
c'est le meilleur mais bordel faut parfois un PHD pour comprendre.
 

JetseX02

☁ Ad viem cum pura ☁

ca n'a pas fonctionné en commande chez moi mais simplement en mettant microsoft-edge://?ux=copilot&tcp=1&source=taskbar dans l'url de chrome ca fonctionne.
 

THiBOo

Elite
C'est encore un exemple bien différent.

Là tu parles d'un jeu avec des règles claires et précises, définies depuis le début. C'est un cadre de fonctionnement très simple et idéal pour une IA.

De plus il faut distinguer 2 types d'entrainement. Celle basée sur
- les règles de base du jeu et l'IA "découvre" elle même les combinaisons gagnante (AlphaZero)
- un entrainement sur un ensemble de parties "types" jouées par de vrais joueurs (AlphaGo)

Le "move" original qui a été proposé par une IA correspond au 1er cas (AlphaZero).

A nouveau, ce n'est PAS le cas des IA génératives qu'on utilise pour le moment, les générateurs de texte (GPT) et images (StableDiffusion) sont clairement entrainé sur des bases de données existantes, et n'ont donc pas de réelle créativité (bien que ça soit discutable).



Je suis ok avec tout mais le move original c'était alphaGo contre Lee Sedon pas la version zéro.

Et une fois qu'on aura des IA d'auto apprentissage pr des IA conversationnelles on sera une belle étape en avant
 

fastyy

Elite
5) Ca va affaiblir l'humain

De la même façon que certaines études ont prouvé que l'utilisation de Google a affecté nos capacités de mémorisation, je pense que ça risque de nous faire perdre certaines capacité de synthétisation etc..
Totalement vrai... depuis que j'ai le net, je ne me casse mm plus la tete à étudier et retenir des choses car je sais qu'à tout moment, il me suffit d'aller sur google pour avoir la commande et la réponse dont j'avais besoin.

Et je vois bien que cela a un impact sur ma mémoire qui n'est plus entrainée.
 
Je suis ok avec tout mais le move original c'était alphaGo contre Lee Sedon pas la version zéro.

Et une fois qu'on aura des IA d'auto apprentissage pr des IA conversationnelles on sera une belle étape en avant
Oui mais comment tu gères "l'auto-apprentissage" ?

Avec un jeu de société c'est simple, tu as des règles claires de victoires qui te permette de déterminer si ce qui a été généré est bon ou pas.

Pour les IA conversationnelle, comment tu gères le contrôle ?
=> Uniquement par un retour HUMAIN. C'est pour ça que tu dois mettre un pouce en bas/haut sur les réponses de chat GPT. Mais il n'y a pas d'ensemble de règles de base qui puissent permettre l'apprentissage de la langue en partant de rien.

Je n'arrive pas à retrouver un reportage sur la développement de la communication et du language chez les bébés (je pense que c'est ça mais sans certitude : https://boutique.arte.tv/detail/monde_selon_bebe) et ça expliquait bien la complexité d'apprendre le language depuis 0. Ca se fait via des dizaines de facteurs humains complexe. Et même si ça commence par un apprentissage statistique, après ça se complexifie ...
 

SlowBidou

Elite
C'est vrai. Bon heureusement le gars a quitté la société depuis. Mais comme le nouveau n'a pas encore travaillé avec nous cette année il a repris les commentaires de l'ancien.
Bien la preuve que vu qu'une IA pouvait faire ses review, il n'était pas indispensable dans son poste :p:D
 
Haut