cinephiledoc

Blog pour cinéphiles et profs docs

Étiquette : intelligence artificielle (Page 2 sur 3)

Imaginaires cinéphiles : déambulations rêveuses et intelligence artificielle

de

On 3 mars 2024

dans Bibliothèque cinéphile

J’avais l’habitude depuis quelques années, pour cet article cinéphile du mois de mars, d’essayer le plus possible de mettre à l’honneur les femmes, qu’elles soient actrices, réalisatrices, scénaristes ou youtubeuses.

J’ai donc regardé vers début janvier et jusqu’à la mi février ce qui était en tête de gondole dans les ouvrages sur le cinéma… cependant, rien parmi les biographies et les autres documentaires n’a pu retenir mon attention. Rien non plus du côté des romans ou des bandes-dessinées, qui aurait pu convenir.

Comme cette idée me tenait tout de même à coeur, je me suis retrouvée bien embarrassée, et début mars approchant, je n’avais toujours pas commencé ni à lire ce qui pouvait rentrer dans ce cadre, et encore moins à l’écrire.

Au moment où j’écris ces premières lignes, nous sommes le 3 mars, et j’ai décidé de consacrer cet article à une petite promenade parmi plusieurs thématiques et ouvrages, pour en venir à un sujet qui m’accapare ces derniers temps sur le plan professionnel mais aussi personnel.

Si l’article déroge à son intention annuelle, je me raccroche au fait que je lui cède mes préoccupations et envies du moment, et c’est déjà suffisant…

Cinéma : Vers des mondes imaginaires

Le point de départ de mes déambulations reste tout de même un ouvrage : une publication relativement récente de Christophe Lemaire, que j’ai trouvé par hasard en librairie.

Il s’agit d’un petit ouvrage qui a été édité en exclusivité par la FNAC, et qui était offert en fin d’année dernière lorsque l’on allait en magasin.

Ce n’est pas la première fois que la FNAC prend ce type d’initiative, puisqu’elle est également à l’origine de guides avec des incontournables en bandes-dessinées par exemple.

Ce guide « Cinéma : Vers des mondes imaginaires » est donc un petit condensé très bien pensé, et avec une écriture complice, voire parfois impertinente. L’auteur s’amuse avec son lecteur, à coups d’aparté, de traits d’humour, d’autres références et de parenthèses.

Trois formes d’itinéraires sont proposées, déclinées à leur tour en trois suggestions de voyages :

  • du réel à l’imaginaire ;
  • visions du futur ;
  • mondes imaginaires

Pour le lecteur qui ne s’est jamais risqué dans ce type d’aventures, ce petit ouvrage sympathique fait office de mise en bouche (ou de pied à l’étrier), avec une perspective historique du genre ou des genres explorés, et des pistes d’exploration.

Ainsi la partie « Du réel à l’imaginaire », et son chapitre « Voyages dans le temps » évoquent tout autant les incontournables La Planète des singes, Retour vers le futur, Un jour sans fin, Edge of tomorrow et Interstellar.

Dans la partie « Mondes imaginaire », l’auteur accorde une brève sous-partie aux « Jeux vidéos et internet en folie ».

Évidemment, on retrouve dans cet ouvrage l’évocation en pointillés de l’intelligence artificielle, que ce soit avec des créatures et des ordinateurs (de Metropolis à Terminator en passant par HAL dans 2001 : l’odyssée de l’espace) ou avec l’évocation d’uchronies et de dystopies comme 1984 ou Matrix.

Le jeu vidéo est mentionné notamment avec le film Ready player one de Spielberg, même si ce dernier ne vaut pas le roman dont il est adapté (même pour une fan de Spielberg comme moi).

Bref, vous me voyez venir, cet ouvrage m’a donné envie de relier intelligence artificielle et cinéma, et pour cela, mes déambulations m’ont conduites vers différents ouvrages, films, séries télévisées et recherches sur Internet.

Intelligence artificielle au cinéma

Après cette évocation en pointillés dans le guide de Christophe Lemaire, je me suis demandé si cette question brûlante de l’intelligence artificielle avait suscité quelques publications récentes, non pas comme d’habitude dans le rayon 000 si l’on reprend notre classification décimale de Dewey (et plus précisément le rayon dédié à tout ce qui concerne l’algorithmie et la programmation), mais si par hasard un cinéphile avait décidé de consacrer un ouvrage entier à cette question.

Le seul ouvrage relativement récent, et sur lequel je n’ai pour l’instant pas pu mettre la main (ce qui m’attriste parce qu’il correspondait exactement à ce que je recherche) est : Génération I.A. : 80 films et séries pour décrypter l’intelligence artificielle, d’Alexandre Pachulski, et j’ose espérer que prochainement cet auteur, ou quelqu’un d’autre, aura l’idée d’actualiser cette initiative avec des éléments plus récents. 

Du coup, j’en ai été réduite à reprendre des ouvrages bien plus anciens et qui figuraient déjà dans ma bibliothèque (et qui restent des références, bien que certainement indisponibles désormais).

Parmi eux : Science et science-fiction, publié en 2010 (il s’agissait du catalogue d’une exposition proposée par la Cité des sciences), évidemment le pavé 100 de cinéma fantastique et de science-fiction de Jean-Pierre Andrevon, ou encore Rêves et séries américaines de Sarah Hatchuel.

J’ai également repris mes lectures sur l’intelligence artificielle et me suis replongée dans cette chronologie de la revue Le 1 :

Et je me suis aussi souvenue de la façon dont Laurence Devillers dressait le panorama des origines littéraires et cinématographiques de la robotique dans son ouvrage passionnant Des robots et des hommes : Mythes, fantasmes et réalités, publié en 2017.

Évidemment, j’ai aussi repris quelques-uns des ouvrages de SNT (Sciences numériques et technologie) en format papier et numérique, que j’avais déjà consultés pour préparer mes séances sur l’intelligence artificielle avec mes classes.

Et puis j’ai eu l’idée de consulter quatre outils sur la question, et je reproduis donc ci-dessous mes quatre itinéraires de recherche.

Intelligence artificielle et cinéma : 4 itinéraires de recherche

Itinéraire 1 : demander à une i.A.

J’ai tourné et retourné la question dans ma tête, et c’est (je le montrerai plus loin) l’humain qui m’a indiqué qu’une formulation trop large pouvait permettre évidemment d’aborder la question sous deux aspects, surtout si l’on s’intéresse aux applications les plus actuels de la question.

Mais j’ai aussi voulu comparer deux outils différents, et j’ai donc utilisé dans un premier temps le plus connu, à savoir Chat GPT.

Voici la réponse qu’il m’a apportée :

Je donne ci-dessous le lien de la réponse complète :

https://chat.openai.com/share/c36a3c3f-7824-4848-a3a5-a072bca699e8

itinéraire 2 : demander à une i.A. qui cite ses sources

En parallèle de Chat GPT, j’ai voulu tester l’outil Perplexity en lui posant rigoureusement la même question. La réponse apportée était plus concise mais me renvoyait vers cinq sources à consulter :

Par ailleurs, l’outil me renvoyait vers d’autres questions précédemment posées et pouvant compléter la question telle que je l’avais formulée :

Les questions connexes proposées (et indiquées ci-dessous en capture d’écran) ont fait le lien avec les deux autres outils de recherche que j’ai utilisés.

itinéraire 3 : se promener dans wikipédia

Ayant utilisé ces deux outils, je me suis dit que la question avait certainement été abordée dans un article de Wikipédia. J’ai cherché du coup un article dédié aux représentation de l’intelligence artificielle au cinéma, et je suis directement tombée sur le film de Spielberg : A.I. Intelligence artificielle.

Cela ne me convenait pas, je suis donc allée directement sur l’article consacré à l’intelligence artificielle, en utilisant l’outil Wikiwand (extension installée sur mon ordinateur) :

Cela m’a amenée à la catégorie connexe « Intelligence artificielle dans l’art et la culture », puis aux sous-catégories « Intelligence artificielle dans la fiction » et « Film sur l’intelligence artificielle ».

Je me suis souvenue que Wikiwand propose des outils d’intelligence artificielle justement pour résumer les articles de Wikipédia, et je suis donc retournée à mon point de départ :

Mais l’outil ne m’a pas proposé de me résumer la partie sur l’intelligence artificielle dans la science fiction, j’en donne donc directement le lien direct, cette partie étant finalement relativement synthétique…

itinéraire 4 : et si j’allais plutôt embêter un humain ?

Récemment dans le cadre de ma veille et de la préparation de mes formations, j’ai remis le nez dans un outil que j’avais utilisé de temps en temps, et je me suis souvenue de sa richesse et de son efficacité.

Le parallèle avec Chat GPT m’a d’ailleurs amusée, puisqu’il s’agit cette fois de poser une ou des questions à un humain. Certes, la réponse n’est pas automatique, mais elle reste rapide, et elle nous est donnée par un expert de la question.

Il s’agit du service Eurêkoi proposé par la BPI, et à qui j’ai posé la question : « Je cherche des informations sur l’intelligence artificielle au cinéma »

Moins de 24h après, j’ai reçu une réponse, dont je donne ici les premiers éléments, puisque cette réponse était assez détaillée et approfondie :

Bonsoir,

Vous avez fait au service de questions/réponses Eurêkoi la demande suivante :  » Je cherche des informations sur l’intelligence artificielle au cinéma », sans plus de précision, c’est-à-dire sans que l’on sache si vous voulez des informations sur l’exploitation de l’IA par l’industrie cinématographique, ou si vous souhaitez des informations sur la manière dont l’IA apparaît, est présentée au cinéma, différents films (c’est un thème de science-fiction assez récurrent).
=> Vu le contexte actuel, je vais supposer que c’est la première interprétation qui est la bonne, à savoir que vous voulez des informations sur l’exploitation de l’IA par l’industrie cinématographique.
C’est visiblement tout le secteur qui se sent menacé, en tout cas remis en question, par l’explosion de l’IA, et notamment de l’IA générative dans la production de contenus. Les impacts de l’IA apparaissent sur différents secteurs : l’écriture du scénario, les effets spéciaux, la création d’image de synthèse d’acteurs ..
Sur l’exploitation de l’IA au service des effets spéciaux, vous pouvez consulter le dossier en plusieurs articles de Futura sciences, intitulé Effets spéciaux et intelligence artificielle, par Floriane Boyer (date ?).
Extrait : « Comme on vient de le voir, l’IA pourrait remplacer la technique de motion-capture pour créer des personnages virtuels. […] es progrès exponentiels des ordinateurs remettent-ils donc en question le rôle futur des acteurs au cinéma et celui des animateurs humains qui conçoivent les films d’animation ? L’IA saura-t-elle un jour fabriquer toute seule des images de synthèse ? Ou créer un être humain virtuel de toutes pièces pour en faire l’acteur principal de son film ? Depuis peu, elle s’essaie même à la rédaction. Peut-être pourra-t-elle un jour réaliser un film en entier, scénario compris, sans assistance humaine ? « 
Ou encore, sur le même site, cet article : Cette IA qui va révolutionner les effets spéciaux dans les vidéos, par Edward Back, 10/02/2023.
Extrait :   » Runway est connu pour son IA Stable Diffusion capable de générer des images à partir d’une phrase, à l’instar de Dall-E ou Midjourney. Gen-1 fonctionne un peu comme un filtre Snapchat, mais d’une manière beaucoup plus évoluée. Il faut partir d’une vidéo de base qui servira à fournir à l’IA les éléments de la scène, et les mouvements à reproduire. Indiquez-lui alors le style à utiliser, ou fournissez une image d’exemple, et elle va l’appliquer sur toute la vidéo.

Je pourrais reproduire le reste de la réponse qui est tout aussi pertinent et intéressant.

Ce qui m’a amusée en premier lieu, c’est que la bibliothécaire qui m’a fourni la réponse a directement pointé ce que l’on peut désigner comme la « faiblesse de mon prompt ».

Et cela m’a ramenée à la réalité que l’on constate, quel que soit l’outil ou la personne que l’on interroge : une question, lorsqu’elle n’est pas correctement formulée, ne nous apporte pas (toujours) la réponse pertinente, c’est-à-dire celle qui répond à notre besoin d’information.

En l’occurrence, concernant les liens entre intelligence artificielle et cinéma, les deux aspects de la question m’intéressent tout autant… et d’ailleurs, alors que j’indique le service Eurêkoi comme mon quatrième itinéraire, c’est celui que j’ai utilisé en premier.

Mais il me révèle bien, à moi aussi, en tant qu’usager peut-être un peu paresseux des outils de recherche d’information, à quel point même en essayant de tourner et de retourner dans ma tête la formulation de ma question (ce que j’avais fait trois fois avant de l’envoyer), elle persistait à manquer de précision pour le service humain que j’interrogeais.

Je suis donc retourné vers le service et j’ai demandé quelques approfondissements sur le sujet, en complément de ceux que j’avais déjà pu trouver par moi-même :

  • d’autres éléments sur la façon dont on représente l’intelligence artificielle au cinéma ou dans les séries télévisées (et ce avec des exemples récents autres que peut-être les traditionnels HAL de 2001 l’odyssée de l’espace ou Terminator ou encore Her)
  • des titres d’ouvrages sur le cinéma et les séries télévisées où la question est abordée (je n’en ai trouvé qu’un : Génération IA, publié en 2020, et qui ne semble plus édité).

Le service permettant (comme Perplexity mentionné plus haut) de retrouver les autres questions posées par les usagers, j’ai pu consulter également une question qui traitait de la façon dont l’intelligence artificielle apparaît dans les films et séries télévisées.

Cependant, la question posée par l’usager remontant à 2018, j’espère avoir prochainement des éléments de réponses actualisées fournies par Eurêkoi, et je les ajouterai éventuellement à la fin de cet article.

D’ici là, je vous donne rendez-vous prochainement pour l’article #profdoc du mois de mars ou un autre article sur l’intelligence artificielle, et vous dis à très bientôt sur Cinéphiledoc.

Janvier 2024 : séances et animations du CDI

de

On 26 janvier 2024

dans Tics de doc

Je vous souhaite à nouveau à toutes et tous une excellente année 2024.

Je publie un peu précocement cet article de janvier, car comme je fais partie des académies de la zone C, nous n’avons que cinq semaines entre la reprise de janvier et les vacances de février.

Cependant, comme je l’avais annoncé dans mon article du mois de décembre, ces cinq semaines sont particulièrement denses sur le plan professionnel, et il a fallu que je m’organise et que j’anticipe un certain nombre de choses au retour des vacances, et aussi que j’établisse clairement des priorités dans les activités à mener.

Aussi bien du point de vue des activités extérieures que des séances pédagogiques, mon agenda était bien rempli, et je vais tâcher d’en dresser un aperçu ici pour la période du 8 au 26 janvier.

Animations du CDI

Pour cette période de janvier, j’ai réussi à la fin des vacances à anticiper et à préparer un certain nombre de sélections thématiques, ce qui m’a fait gagner beaucoup de temps.

objectif : une sélection thématique par semaine

Pour la période janvier – mars, mon objectif est de pouvoir proposer une sélection thématique par semaine en m’appuyant, comme je l’ai indiqué dans l’article consacré au bullet journal, sur les événements nationaux et internationaux.

J’avais donc préparé trois sélections juste avant les vacances, et j’en ai préparé trois autres pendant cette période.

  • Journée mondiale Tintin / sélection BD (10 janvier)

J’ai installé cette sélection le lundi de la rentrée, en y ajoutant deux ouvrages que j’avais chez moi sur les jurons du Capitaine Haddock et sur les inventions du Professeur Tournesol.

Cette sélection a été proposé du 8 au 22 janvier.

  • Martin Luther King’s Day (16 janvier)

Cette sélection a été installée le 11 janvier et est toujours en place au moment où j’écris cet article.

  • Nuits de la lecture (18 – 21 janvier)

Pour cette sélection, je me suis appuyée sur les articles proposés sur le site officiel de l’événement, et je l’ai proposé au dessus des dernières nouveautés du rayon fiction mises à disposition au CDI.

La sélection a été installée le 15 janvier et est toujours en place.

  • Journée de la mémoire (27 janvier)

Enfin, le 22 janvier j’ai proposé une sélection autour de la Journée de la mémoire des génocides et de la prévention des crimes contre l’humanité :

Cette sélection permettait de mettre en valeur des ouvrages assez récents, en particulier en bandes-dessinées, sur cette thématique.

autres actions mises en place
  • Un nouveau puzzle collaboratif

Pour faire suite au deuxième puzzle qui n’avait pas vraiment fonctionné, nous avons laissé l’une de nos élèves choisir le puzzle suivant, qui met en scène l’univers de Harry Potter.

Installé le lundi de la reprise, il est toujours en place et peine quelque peu à avancer… même si les bords ont été posés.

  • Journées Portes Ouvertes (13 janvier)

Cette année, les JPO étaient organisées très tôt au lycée, directement le samedi de la semaine de la reprise, et il a du coup été un peu compliqué d’anticiper, mais nous avons tout de même réussi à réaliser un panneau de présentation et des marques-pages.

Nous nous sommes partagés la matinée : Roman a assuré la présentation du CDI sur les deux premières heures, et j’ai assuré les deux dernières.

Il s’agissait donc d’une reprise sur les chapeaux de roues, et pas seulement en terme d’animations, d’autant que d’autres actions ont été organisées au CDI (la suite des interventions de l’AJMF et la réunion des éco-délégués, entre autres).

Séances et actions pédagogiques

Voici les séances menées entre le 8 et le 26 janvier, ce sont principalement des séances en SNT.

Pour plus de lisibilité je vais indiquer ici les séances, leur intitulé et leurs objectifs, et les classes concernées.

internet et web
  1. Comprendre le web et internet à travers Google. Durant cette première séance, je pars d’un outil que tous les élèves connaissent et utilisent pour aborder avec eux des éléments historiques, la différence entre navigateur et moteur de recherche et le fonctionnement d’un moteur de recherche. Au retour des vacances, j’ai vu deux classes : les 2nde7 et les 2nde11.
  2. Comprendre les enjeux de l’utilisation d’internet et de publication en ligne. À l’aide de ressources mises à leur disposition, les élèves font par groupe des petits exposés de 2 à 5 minutes. Au retour des vacances, les 2nde11.
  3. Comprendre le droit d’auteur et la citation des sources. Pour cette séance (ma préférée) j’ai conçu un escape game qui remplace une précédente séance dont je n’étais absolument pas satisfaite. Au retour des vacances, les 2nde13, les 2nde4, et il me restera les 2nde11 et les 2nde7 début février.

Je sais que j’avais indiqué partager cet escape game et sa fiche élèves dans cet article, mais par souci d’équilibre, je le partagerai plutôt dans l’article du mois de février.

J’ai donc fini cette séquence pour quatre classes, avec en tout trois notes :

  • une note de participation individuelle et collective calculée avec les points gagnés sur l’application ClassDojo (en gros je convertis les intervalles de points en note sur 20),
  • une note d’exposé sur 10 avec 5 points sur la prestation à l’oral (note individuelle) et 5 points sur le contenu (note de groupe)
  • la participation à une campagne PIX dont le pourcentage de réussite est converti en note sur 20.
objets connectés et intelligence artificielle

Sur cette thématique, et en m’appuyant sur un scénario pédagogique construit à l’aide de mes lectures scientifiques, j’ai pu tester une séance avec une première classe lors de la semaine de la reprise.

Pour la deuxième classe avec laquelle j’ai travaillé, j’ai eu le privilège que l’une des séances soit observée par Mme Elisabeth Carrara, IGESR, qui m’a également sollicitée pour intervenir à l’IH2EF sur la question de l’intelligence artificielle le 25 janvier.

C’est la raison pour laquelle je ne partage pas encore le détail de cette séance et de cette intervention, que vous retrouverez un peu plus tard dans l’année.

autres séances

Durant cette période, j’ai également co-animé d’autres séances :

  • EMC (seconde) : une collègue m’a sollicitée pour suivre ses élèves dans le cadre de recherche au CDI. Au mois de janvier, nous avons poursuivi l’évaluation conjointe des passages à l’oral des élèves.
  • EMC (première) : deux classes travaillent sur le thème du lien social en s’appuyant sur les ressources du CDI, avec les mêmes modalités d’organisation que les classes de seconde en EMC.
  • EMC (terminale) : un collègue nous a sollicité pour travailler avec deux de ses classes sur les controverses scientifiques.

Communication

Ce mois-ci, les actions de communication se sont concentrées sur les animations proposées et mentionnées plus haut.

Bulletin de veille E-INSTANT CDI

Concernant ce bulletin de veille que j’essaye d’envoyer à peu près régulièrement aux enseignants, je n’ai absolument pas eu le temps de le mettre à jour, donc je le garde sous le coude pour février.

Blogs sur l’ENT

Pour ces trois blogs, j’ai pris l’initiative la dernière semaine de décembre de les basculer en mode public, afin de leur donner un peu plus de visibilité et que vous puissiez voir plus concrètement comment ils fonctionnent, même si je ne les alimente pas toujours avec la dernière assiduité…

Ce mois-ci, 4 articles publiés : la sélection Tintin, le Martin Luther King’s Day, les Nuits de la lecture et la Journée de la mémoire.

Généralement, lorsque j’installe une sélection, je publie directement l’article dans la foulée et je fais également un post sur Instagram.

Pas d’article publié ce mois-ci.

Un article publié ce mois-ci, pour présenter les webinaires de l’université Paris-Saclay.

Généralement, une fois les dates passées, je supprime les articles concernés.

Compte Instagram du CDI

Le compte Instagram du CDI poursuit sa lancée, et c’est le canal de communication sur lequel j’ai le plus de facilité à publier.

  • photos postées directement

Le 9 janvier j’ai posté une vidéo présentant le réaménagement du coin VO ANGLAIS (à retrouver plus bas dans la présentation sur la signalétique).

Le 11 janvier, en prévision des Journées Portes Ouvertes, j’ai posté les sélections thématiques installées au CDI.

  • visuels réalisés ce mois-ci

Le 7 janvier, la veille de la rentrée, j’ai posté une vidéo réalisée sur Canva pour souhaiter une bonne année aux abonnés du compte :

J’ai ensuite posté successivement les sélections thématiques déjà mentionnées plus haut.

Le 18 janvier j’ai posté un rappel sur la fermeture du CDI, puisque se tenait le lendemain la réunion de bassin des professeurs documentalistes à laquelle nous participions.

  • les aventures de Chat Bla-bla

Du coup Chat Bla-bla continue à apparaître dans quelques publications (surtout quand je me déplace), notamment durant cette réunion de bassin.

Autres activités

Enfin j’en termine comme à mon habitude par les autres activités professionnelles de la période, et avec la mini-rubrique des mercredis studieux.

Réunions, stages, déplacements
  • 11 janvier : j’ai passé la certification PIX au médiapôle de Gif.
  • 19 janvier : réunion de bassin des professeurs documentalistes du Centre Essonne et du Sud Essonne sur le marketing documentaire.

Durant cette réunion, j’ai proposé une intervention sur les évolutions de la signalétique au lycée.

La présentation revient notamment sur les travaux de refonte réalisés par mes collègues dans les différents rayons, ainsi que sur la façon dont on peut repenser, rafraichir ou rendre visible certains rayons, tout en tenant compte de la problématique de l’évolution des espaces.

  • 25 janvier : intervention à l’IH2EF à Poitiers sur intelligence artificielle générative et professeurs documentalistes

Je reviens ultérieurement plus en détail sur cette intervention.

Les mercredis studieux

Voici un petit aperçu de mes mercredis de cette période, dans lesquels pour certains je mixe également les autres travaux menés sur mon temps libre.

  • 4 – 7 janvier : j’ai préparé sur ces quelques jours pour m’avancer et anticiper sur ma charge de travail plusieurs supports d’intervention :

une première version du support pour l’intervention du 25 janvier à l’IH2EF sur l’intelligence artificielle ; une présentation pour une autre intervention prévue le 30 janvier à destination des IA-IPR EVS stagiaires à la demande de Martine Sache ; un temps de travail avec Ketty Joly, CPE à Brétigny avec qui je dois justement intervenir le 30 janvier ; un escape game préparé pour l’occasion ; les trois visuels (Bonne année / Nuits de la lecture / Journée de la mémoire) réalisés sur Canva.

  • 10 janvier : c’est reparti, retour des mercredis studieux :

J’ai animé une séance de SNT sur l’intelligence artificielle avec les 2nde14, j’ai fait une deuxième puis une troisième version pour l’intervention du 25 janvier, l’inscription à la semaine de la presse et des médias à l’école, et j’ai fini la journée avec : la publication d’un article sur les données numériques, la préparation d’un cours de master 2 pour le deuxième semestre, la suite de la lecture d’un ouvrage sur le Big Data.

  • 17 janvier : ça continue et ça déborde un peu sur le week-end

J’ai animé une séance de SNT sur l’intelligence artificielle avec les 2nde1, j’ai préparé la présentation sur la signalétique au lycée, j’ai suivi d’une oreille un webinaire du CLEMI « De la donnée à l’infographie », j’ai préparé la première demi-journée d’un de mes stages sur « Dynamiser sa veille et visibiliser son action » et j’ai poursuivi mes lectures sur le Big Data.

  • 24 janvier : on ralentit un peu mais parce que les autres jours que le mercredi sont bien remplis

J’ai passé la matinée à préparer mon PPCR, prévu cette année, et j’ai rédigé cet article. J’ai terminé la journée en révisant mon intervention du lendemain.

Voilà pour ces activités des trois premières semaines de janvier, je m’arrête pour cet article. Vous retrouverez prochainement le premier compte-rendu de lecture cinéphile pour 2024, et le prochain article #profdoc un peu plus tard dans le mois de février.

D’ici là, je vous souhaite bon courage et vous dis à très bientôt sur Cinephiledoc !

Notes de lecture sur l’intelligence artificielle (épisode 4)

de

On 27 octobre 2023

dans Aux infos, etc. !, Notes de lecture

Pour ce quatrième (et peut-être dernier) épisode de mes notes de lecture sur l’intelligence artificielle, j’ai choisi des ouvrages et des articles qui permettent de susciter le débat sur la question.

En effet, les lectures que j’ai retenues peuvent être mobilisées dans des disciplines principalement associées aux sciences humaines : enseignement moral et civique, philosophie, HLP…

Je précise qu’il s’agit là potentiellement du dernier épisode, car je pense pour l’instant avoir à titre personnel fait le tour de la question, même si je n’exclus pas de prendre à nouveau des notes sur des ouvrages ou des articles qui attireraient mon attention et proposeraient un éclairage d’actualité sur le sujet (je pense en particulier aux ouvrages publiés très récemment sur ChatGPT).

Mais d’ici là, je m’octroie une petite pause sur l’intelligence artificielle (sauf pour avancer dans mes conceptions de séances) et vais plancher sur d’autres lectures scientifiques.

Dans cet épisode :

  1. un aperçu de deux ouvrages que j’ai parcouru et qui abordent la question d’un point de vue philosophique et social : Les Robots font-ils l’amour ? et Des Robots et des hommes
  2. revue de presse avec les numéros 1700 du Courrier international et 432 du Un
  3. sélection de ressources

Les Robots font-ils l’amour : Le transhumanisme en 12 questions, de Laurent Alexandre et Jean-Michel Besnier

Cet ouvrage, publié en 2016, figurait déjà depuis un certain temps dans le rayon philosophie du CDI, et déjà à l’époque, le titre avait retenu mon attention, en me rappelant celui du roman de Philip K. Dick Les Androïdes rêvent-ils de moutons électriques ?, porté à l’écran sous le titre Blade Runner.

Contrairement à mes notes de lecture précédentes, je ne vais pas tenter de faire un résumé de chaque chapitre, le titre étant suffisamment parlant. Je vais me contenter de relever ce qui m’a intéressée dans cet ouvrage et de quelle manière il peut permettre de nourrir un débat sur la question.

L’ouvrage prend la forme d’une discussion (relativement animée) entre les deux auteurs, Laurent Alexandre, médecin et entrepreneur, et Jean-Michel Besnier, philosophe, et cette discussion s’articule autour des 12 questions du sous-titre :

  1. Faut-il améliorer l’espèce humaine ? (implants, détection de la trisomie 21)
  2. L’humanité doit-elle changer sa reproduction ? (fécondation in vitro, manipulations génétiques)
  3. La technologie peut-elle tout réparer ? (thérapie, implants, rôle et déontologie d’un médecin supplanté par les technologies)
  4. Demain, tous cyborgs ? (le chapitre revient sur les craintes soulevées à l’époque par Elon Musk autour de l’intelligence artificielle, et sur la question du libre arbitre au sein d’un corps livré à la technique)
  5. Peut-on faire l’amour avec un robot ? (évocation du film Her, cybersexualité)
  6. Est-il désirable de vivre 1000 ans ? : la lecture de ce chapitre m’a rappelé le roman Tous les hommes sont mortels de Simone de Beauvoir
  7. Le transhumanisme est-il un eugénisme ? (est-il légitime d’utiliser toutes les possibilités de transformation offertes par la science ? rappel du mythe de la singularité, c’est-à-dire le moment où l’esprit humain est dépassé par l’intelligence artificielle)
  8. L’intelligence artificielle va-t-elle tuer l’homme ? (retour sur la lettre ouverte sur l’intelligence artificielle signée en 2015 entre autres par Stephen Hawking, Bill Gates, Elon Musk…) *
  9. Quels sont les enjeux économiques ? (retour sur l’implication des géants du numériques, en particulier Google, le lien entre Big data et IA)
  10. Faut-il légiférer ? (de quelle manière encadrer législativement et de manière éthique les innovations technologiques ? quelles interventions de l’état – ou inter-étatiques – possibles ? nécessaire évolution de l’école)
  11. Doit-on craindre un « meilleur des mondes » ? (risques totalitaires du transhumanisme ou renouveau démocratique ? proposition d’un serment d’Hippocrate pour les scientifiques spécialistes des NBIC)
  12. Jusqu’où pousser la recherche ? (le transhumanisme comme nouvelle religion)

J’ai indiqué par un * les chapitres sur lesquels je me suis davantage attardée. Le chapitre 8 fait un rapide historique de l’intelligence artificielle, sur la définition de l’intelligence, sur la difficulté de l’école à s’adapter aux problématiques actuelles de l’IA, sur les risques de l’intelligence artificielle pour l’emploi, sur la distinction entre IA faible et IA forte et sur la loi de Moore.

Mon avis sur l’ouvrage

Le caractère souvent décomplexé de la conversation m’a parfois quelque peu désarçonnée, mais j’ai trouvé la structure très fluide et intéressante, et avec un recul sur ces différentes questions, je pense qu’elles peuvent être reprises presqu’à l’identique dans le cadre de débats menés en classe avec les élèves.

Des robots et des hommes : Mythes, fantasmes et réalités, de Laurence Devillers

Là encore, il s’agit d’une publication sur la question qui remonte à quelques années (2017).

L’ouvrage s’ouvre par une fiction « LILY, ma robote assistante de santé » où l’auteur imagine un futur désormais proche, en 2025, avec des robots compagnons de vie ayant trois niveaux d’adaptation : le niveau 1 sans adaptation, le niveau 2 où le robot peut apprendre certaines tâches, et le niveau 3 où il s’adapte aux habitudes de l’humain.

L’auteure propose des allers-retours entre cette fiction et les avancées de la robotique et de l’intelligence artificielle au moment où cet ouvrage est publié ainsi que les questionnements qu’elles soulevaient : les agents conversationnels, les capacités propres à l’homme et celles propres aux robots, le traitement des données personnelles.

Dans son avant-propos, Laurence Devillers évoque déjà les expériences menées avec les robots japonais Pepper et Paro (et l’utilisation de ce dernier dans l’accompagnement des personnes âgées), des robots Keepon et Nao pour les enfants souffrant de troubles du spectre autistique.

Principalement, elle pose la question de l’intégration des robots sociaux dans notre vie quotidienne, avec les problématiques de la morale, de l’éthique, de l’empathie, du respect de la vie privée. Elle indique 4 leviers à prendre en compte :

  • éduquer à l’éthique des robots
  • expliciter des règles de bonne conduite à coder sur le robot
  • mettre en oeuvre des outils pour vérifier le respect de ces règles
  • adopter une règlementation juridique en cas de non respect

en s’appuyant sur les lois de la robotique d’Asimov.

L’ouvrage se décline ensuite en deux parties.

Dans la première partie « Les robots : science-fiction, mythes et fantasmes », l’auteure revient aux origines littéraires et cinématographiques de la robotique :

  • Frankenstein ou le Prométhée moderne, de Mary Shelley
  • le mot ROBOT qui trouve son origine chez Karel Capek
  • et évidemment Asimov pour la littérature

Concernant les mythes et fantasmes cinématographiques, elle les fait remonter à Prométhée, Pygmalion, à Faust et au Golem, aux questionnements philosophiques de Descartes (qui dissocie corps et esprit) et aux différences culturelles de perception des robots entre l’Occident et le Japon.

S’ensuivent les références cinématographiques de Metropolis, 2001, Star Wars, A.I., WALL-E., Her, et les séries Real Humans et Westworld, qui posent d’un point de vue fictionnel les problématiques soulevées dans l’avant-propos.

Dans le troisième chapitre de cette première partie « L’intelligence des machines : halte aux fantasmes ! », l’auteure revient sur la définition de l’intelligence et fait un rappel historique de ce que recouvre l’intelligence artificielle (Turing, modes d’apprentissage, hivers de l’IA, recherches menées par les GAFAM et transhumanisme, mythe de la singularité et lettre ouverte de 2015 alertant sur les dangers de l’IA).

Quelques points de réflexion :

  • Tay, l’intelligence artificielle de Microsoft entraîné par les utilisateurs à tenir des propos racistes et antiféministes
  • les failles de la technologie de reconnaissance faciale de Google Photos
  • citation mentionnée de Gérard Berry, informaticien et professeur au Collège de France

L’homme est lent, peu rigoureux et très intuitif. L’ordinateur est super rapide, très rigoureux et complètement con.

L’auteure rappelle l’urgence d’aller au-delà du test de Turing pour prendre en compte les nouvelles capacités de l’I.A.

Dans la deuxième partie « Les robots : aujourd’hui et demain », l’auteure s’intéresse à ce qui lie robotique, intelligence artificielle et problématiques sociales et morales.

Dans le chapitre « Qu’est-ce qu’un robot social ? », elle évoque les fonctionnalités les plus récentes des robots, avec les dimensions développées : autonomie, apprentissage et empathie.

Elle définit selon différents critère la robotique sociale : le robot perçoit ce qui l’entoure, peut apprendre et interagir avec nous, et ces différents enjeux dans les chapitres suivants :

  • un robot doit-il le plus possible ressembler à un humain ? va-t-on faire plus confiance à un robot humanoïde ?
  • un robot peut-il manifester de l’empathie ou en susciter ? qu’est-ce qui distingue l’homme du robot dans l’expression des émotions ? une machine peut-elle apprendre à détecter les émotions et adapter sa réponse en conséquence ?
  • comment intégrer aux innovations technologiques la morale et le respect de la vie privée et des données personnelles ?

Pour illustrer cette dernière question, l’auteure cite la nouvelle de John McCarthy, Le Robot et le bébé, où le robot doit déroger à une première règle de fonctionnement pour respecter la deuxième.

Elle soulève également la question de la responsabilité en matière d’intelligence artificielle : qui est responsable entre le concepteur du programme, l’ingénieur, l’opérateur et l’utilisateur ?

Règles et responsabilités interviennent dans les champs suivants :

  1. sécurité civile,
  2. opérations militaires,
  3. voitures autonomes (Moral Machine)

Concernant les relations que les humains peuvent avoir avec un robot social, l’auteure rappelle le rôle chez l’enfant du doudou comme objet transitionnel (note personnelle : ce que constitue déjà le smartphone pour un certain nombre de personnes – voir nomophobie) avec les risques que cela induit : addiction, confusion, repli sur soi.

Les deux derniers chapitres évoquent les peurs suscitées par les robots (piratage, surveillance, risques économiques) et la nécessité d’éviter les deux écueils que sont les craintes irrationnelles et le trop plein de confiance, ce qui amène naturellement à l’épilogue de l’ouvrage, une proposition de onze commandements pour les applications sociales de la robotique, où figurent en premier lieu les données privées et le droit à l’oubli.

Mon avis sur l’ouvrage

Parmi les ouvrages traitant de la question de l’intelligence artificielle par le biais des sciences humaines et en particulier de la philosophie, des émotions et de la morale, cet ouvrage est le plus intéressant que j’ai pu lire jusqu’ici.

La porte d’entrée de la fiction, avec les robots compagnons et les allers-retours avec les questionnements actuels sont assez vertigineux et captivants, surtout lorsqu’on lit aujourd’hui cet ouvrage publié en 2017.

Il complète de manière plus posée le premier ouvrage, et permet d’assoir les arguments qui pourraient survenir dans un débat sur l’intelligence artificielle en classe.

Revue de presse

Pour cette revue de presse, j’ai décidé de ne pas trop détaillé le contenu des périodiques concernés et de me concentrer sur ce que j’ai pu trouver de plus récent – hors quotidiens, sur les aspects sociaux, philosophiques et artistiques de l’intelligence artificielle. J’ai donc retenu deux documents :

Naomi Klein : « Les IA organisent le plus grand pillage de l’histoire de l’humanité ». Courrier international n°1700, 01/06/2023, p.44-45

Dans cette tribune publiée dans The Guardian, Naomi Klein revient sur les « hallucinations » autour des dernières innovations de l’intelligence artificielle et fait se confronter certaines utopies (utiliser l’IA pour prendre des décisions, pour transformer le monde du travail, pour améliorer l’accès à l’information) et leurs revers (consommations, crise climatique, dérives politiques et économiques.

L’IA va-t-elle nous remplacer ?. Le 1 n°432, 01/02/2023, p.1-6

Dans le numéro de cette revue hebdomadaire, j’ai retenu :

  • les Repères en page 5 « Rêves prométhéens » qui proposent une chronologie littéraire et cinématographique de l’IA.
  • dans le Zoom en page 6 « À quand un ChatGPT français ? », Isabelle Ryl évoque le supercalculateur Jean-Zay et le modèle de langage Bloom, un modèle de langage ouvert, responsable et explicable.
  • dans « L’art au temps de l’intelligence artificielle » Marion Carré revient sur les questionnements récents (et qui font écho à la grève des scénaristes et des acteurs à Hollywood) : l’IA peut-elle être artiste ? quels risques dans l’uniformisation des goûts ? quels sont les droits concernant une oeuvre générée par l’intelligence artificielle ?
  • enfin dans son enquête « Le défi de l’éducation », Manon Paulic revient sur la nécessite de repenser l’enseignement : évalue-t-on la capacité des élèves à emmagasiner et restituer des connaissances ou son raisonnement critique et sa créativité ?

Ce dernier débat me renvoie à l’opposition entre les sophistes et Socrate dans les dialogues platoniciens… et ouvre sur l’une de mes prochaines lectures, que j’évoque dans la partie Ressources.

Ressources

J’avais songé à l’origine faire le compte-rendu dans cette note d’un troisième ouvrage : Data-Philosophie de Sonia Bressler, en y abordant uniquement ce qui a trait à l’intelligence artificielle, mais l’ouvrage opte visiblement pour un questionnement plus large et qui m’intéresse, j’en ferai donc le compte-rendu dans un article ultérieur.

Notes de lecture sur l’intelligence artificielle (épisode 3)

de

On 8 septembre 2023

dans Aux infos, etc. !

Voici un troisième épisode de mes notes de lecture sur l’intelligence artificielle, où je commence à cerner l’objectif de ces notes :

avoir une vision d’ensemble sur la question et qui me permette de proposer ou de concevoir des séances pédagogiques sur l’IA, aussi bien dans des disciplines associées aux sciences pures (SNT, enseignement scientifique, mathématiques) que dans les sciences humaines (SES, éco-gestion, EMC, HGGSP, HLP…).

Ce troisième épisode abordera donc la question sous l’angle des sciences humaines avec un premier focus sur les aspects économiques et géopolitiques de l’intelligence artificielle.

Dans cet épisode :

  1. les ouvrages Intelligence artificielle, l’affaire de tous et Géopolitique de l’intelligence artificielle
  2. revue de presse avec les numéros de la revue Le Monde diplomatique n° 829 et du Courrier international n°1685, 1695 et 1704
  3. une sélection de ressources

Intelligence artificielle, l’affaire de tous : de la science au business, Thierry Bouron

Il s’agit donc pour moi d’un quatrième ouvrage sur l’intelligence artificielle, après une première lecture à coloration davantage scientifique, et deux lectures de vulgarisation qui tendaient à proposer une vision d’ensemble de la question.

Cet ouvrage a été publié en juillet 2020 aux éditions Pearson et apporte un éclairage davantage professionnel : économie, business, management et marketing. 

Cela se remarque dans les exemples donnés et dès l’introduction, qui revient sur la révolution induite par les intelligences artificielles à la fois dans les différents secteurs économiques mais aussi dans les formations professionnelles.

Ainsi l’auteur rappelle que la Chine a été la première à expérimenter des cours sur l’intelligence artificielle dans une quarantaine de lycées. 

La coloration économique de l’ouvrage est visible aussi dans sa construction, puisqu’en introduction l’auteur souligne les impacts économiques de l’IA, et comment mettre en place une stratégie d’entreprise en en tenant compte.

Deux chapitres rappelant l’essentiel par des exemples et une base historique et scientifique. 

Le chapitre 1 « L’observation d’IA » fait un top 10 des IA impressionnantes, et explique en quoi elles le sont : une IA capable de créer un morceau de musique ou un texte littéraire, les robots Kiva d’Amazon capables d’aller chercher les produits dans les étagères où ils sont stockés, les boutiques Go store, AlphaGo, l’assistant Google qui prend un rendez-vous à notre place. 

Le chapitre 2 « L’IA est plurielle » fait un rappel historique de l’IA qui était déjà abordé dans les ouvrages des précédentes notes de lecture : test de Turing, conférence de Dartmouth, hivers de l’IA. Il revient également sur les notions de machine learning, deep learning et sur les différents courants de pensées liés à l’IA.

  • Le business de l’intelligence artificielle : innovations, investissements économiques et politiques

Dans le chapitre 3 « Un business démesuré », l’auteur s’intéresse aux évolutions induites par l’IA dans l’entreprise, avec le phénomène d’innovations disruptives (ruptures qui peuvent provenir de la création d’un nouveau service, d’un élargissement de l’accessibilité, d’un nouveau modèle de business ou de nouveaux systèmes opératoires). 

Pour ces derniers est convoqué l’exemple du système de recommandation de produits par Amazon. 

L’auteur revient ensuite sur les perspectives de marché de l’IA (impact sur la croissance mondiale par une augmentation de la productivité, la proposition de nouveaux services et un gain de temps), sur les investissements en IA (notamment distribution de contenus sur les réseaux sociaux) et sur les politiques gouvernementales. Pour la France : rapport Villani publié en 2018, prévision d’investir 1,5 Milliards sur cinq ans, sélection de 4 pôles de recherche régionaux. 

Dans le domaine de l’industrie. Les GAFAM ont investi dans l’IA : Alphabet est le premier acteur dans l’acquisition de sociétés d’IA. 

Définition d’une IA COMPAGNY : 

  1. Stratégie d’acquisition de données
  2. Regroupement et centralisation des données dans des entrepôts
  3. Mise en place de procédures contrôlant le respect des données privées
  4. Automatisation des procédures
  5. Création de nouveaux métiers autour des data sciences

Description des différentes stratégies des GAFAM en IA. Google : agents conversationnels. Facebook : recherche et analyse semantique de textes, images et vidéos (détection de contenus / de faux comptes). Amazon : robots. Apple : Siri. 

Pour soutenir ces évolutions : développement des compétences et des formations universitaires dans ce domaine.

  • Risques de l’intelligence artificielle dans le secteur économique

Dans le chapitre 4, « Les risques effectifs », l’auteur revient sur plusieurs risques soulevés par l’IA. La question des systèmes autonomes permet de traiter le domaine de l’armement et de la défense militaire. 

La partie la plus éclairante concerne les risques propres aux machines apprenantes, notamment à travers la question des corrélations de données (voir l’étude mentionnée de Tyler Vigen : Spurious Correlations et celle sur les fausses corrélations dans un contexte politique : Hack your way to scientific glory) et celle de la généralisation induite par un jeu de données (un outil de recrutement qui élimine certains profils parce qu’ils sont au départ peu représentés). 

Les autres risques mentionnés sont les usages abusifs (exemple de Compas) et les risques liés aux données personnelles avec l’exemple de l’affaire Cambridge Analytica. 

Le dernier risque évoqué est l’impact de l’IA sur l’emploi.

  • Fonctionnement de l’intelligence artificielle

Les 3 chapitres suivants reviennent sur le fonctionnement de l’intelligence artificielle, déjà abordé dans d’autres ouvrages à coloration plus scientifique : « machines apprenantes », « réseaux de neurones artificiels » et « systèmes autonomes » avec des apartés mathématiques pour creuser la question. 

J’ai quelque peu survolé ces chapitres parce qu’ils sont un peu trop mathématiques pour moi, même si dans celui consacré aux systèmes autonomes, une sous-partie « Simulation multi-agents » a retenu mon attention. L’auteur y étudie le renforcement des comportements de consommateurs via l’IA, illustré par le schéma suivant :

Il propose également un jeu de rôles sur les comportements de consommateur, pour manipuler des agents intelligents et se mettre dans la peau d’une IA.

Ce jeu pourrait éventuellement être réutilisé en SNT ou en éco-gestion. Certaines indications sur le nombre de cartes et leur répartition ne sont pas très claires, aussi j’ai essayé de l’adapter de mon mieux dans un jeu que j’ai intégré à une séance de SNT, et que je compte tester prochainement. 

Enfin le dernier chapitre de l’ouvrage « Études de cas » revient sur différentes applications d’intelligence artificielle dont Internet et les agents conversationnels.

Concernant Internet, sont abordés la recommandation et le ciblage : de quelle manière Amazon influence les achats par le système de recommandation personnalisée (un quart des achats sur le site), la suggestion de vidéos sur YouTube et Netflix, la publicité ciblée via les cookies et l’historique de navigation.

Concernant les agents conversationnels, l’auteur fait un rappel du test de Turing, et étudie quelques applications : Siri, Alexa, les chatbots et les enceintes connectées.

En conclusion l’auteur rappelle l’importance de se tenir au courant de l’actualité dans le domaine de l’intelligence artificielle, pour le secteur économique mais cela peut être élargi. Il fait un récapitulatif par un exercice de questions / réponses des différents points abordés dans l’ouvrage.

Mon avis sur l’ouvrage :

Le plus : un véritable éclairage thématique de l’intelligence artificielle. J’ai certes laissé de côté les aspects les plus mathématiques, mais l’ensemble du propos est très éclairant, et peut interroger même sur des domaines comme différents secteurs économiques (immobilier, ressources humaines, entreprise) ou les formations professionnelles, ce qui peut permettre de lier aussi la thématique aux filières d’études des élèves et à leur choix d’orientation.

Par ailleurs, l’auteur a une posture véritablement pédagogique, avec des moments de questions / réponses qui peuvent être réutilisés en classe.

Géopolitique de l’intelligence artificielle, Pascal Boniface

Cet ouvrage a été publié aux éditions Eyrolles en janvier 2021, et il fait partie de la bibliographie très prolifique de Pascal Boniface, spécialiste de géopolitique.

On lui doit des ouvrages plusieurs fois réédités sur les relations internationales (Comprendre le monde) et qui relient la géopolitique à certaines thématiques (le sport, les jeux olympiques, le Covid…).

L’ouvrage consacré à l’intelligence artificielle se décline en sept chapitres, après une introduction où l’auteur rappelle son parcours littéraire malgré son intérêt pour la question, ce qui sera éclairant pour la suite de l’ouvrage.

Le premier chapitre « Intelligence artificielle, histoire et définition » revient de manière succincte sur des éléments déjà abordés dans les ouvrages abordés précédemment : le test de Turing, la conférence de Dartmouth, les hivers de l’IA, deep learning et machine learning, traitement des données.

Un encart revient sur le rôle de la DARPA (Defense Advanced Research Projects Agency) créée en 1958 qui finance aux États-Unis la recherche et le développement dans le domaine des technologies militaires, avec un département dédié à l’innovation et à l’information créé en 2005.

Dans le deuxième chapitre « Corne d’abondance ou machine à exclure ? », l’auteur revient sur la vision que la société a généralement des innovations techniques et des craintes qu’elles suscitent, largement relayées par Pascal Boniface (inégalités, chômage, accès à la santé et transhumanisme, relations des états avec les géants du numérique).

Le troisième chapitre « Les GAFAM vont-ils tuer l’État ? » accentue ces craintes, en faisant notamment un tableau comparatif entre les fortunes des dirigeants et le PIB de certains pays (Amazon / Bezos en 2020 = Qatar en 2019, Elon Musk = Maroc).

Il étudie de quelle manière ces dirigeants s’emparent de domaines jusqu’ici régaliens (la conquête spatiale pour Musk) et affaiblissent les institutions, et leurs arrangements avec la fiscalité, malgré les tentatives de régulation étatiques ou inter-étatiques.

Dans le quatrième chapitre, « Printemps des libertés ou hiver totalitaire ? », Pascal Boniface revient sur le risque d’une surveillance absolue induite par le Big data, en s’appuyant notamment sur l’affaire Cambridge Analytica.

Pour contrebalancer, il rappelle également le rôle des réseaux sociaux notamment dans les mobilisations populaires (printemps arabe, mouvement #MeToo), et relativise le lien entre réseaux sociaux et bulle de filtres, rappelant qu’un lecteur de Libération ira rarement lire Le Figaro.

Le point le plus intéressant du chapitre est l’encart consacré au contrôle social en Chine, et à la façon dont les citoyens chinois sont classés, de AAA (citoyen exemplaire) à D (citoyen malhonnête).

Le chapitre 5 revient d’ailleurs sur « Le duel Chine / États-Unis ». En effet, la Chine concentre ses dépenses non dans le domaine militaire, mais dans le domaine technologique, surtout depuis qu’elle a connu son « moment Spoutnik » avec la défaite de son champion contre AlphaGo.

Elle conjugue depuis croissance économique, montée en puissance technologique et patriotisme, ce qui lui donne un avantage considérable par rapport aux GAFAM, dont les dirigeants n’ont pas les mêmes relations aux institutions gouvernementales. Elle dépasse les États-Unis en publications scientifiques et en dépôt de brevets. Le chapitre revient sur les tentatives américaines pour juguler certaines entreprises chinoises (Huawei et plus récemment l’application TikTok).

Face aux deux géants, le chapitre 6 « Quo vadis, Europa ? » rappelle le retard européen en matière d’investissements. Le RGPD adopté en 2016 peut-être perçu à la fois comme un frein et comme un modèle attractif. Une stratégie européenne a été proposée en 2018 pour rattraper ce retard, en finançant la recherche et l’innovation.

Le dernier chapitre « La France dépassée ? » revient sur les initiatives françaises en matière d’informatique et d’intelligence artificielle :

  • 1966 : Plan calcul et création de l’IRIA (Institut de Recherche, d’informatique et d’automatisme) ancienne INRIA
  • 2018 : lancement des quatre instituts interdisciplinaires de l’IA  (3IA)
  • 2019 : plan de 1.5 milliard d’euros d’investissement dans l’IA jusqu’en 2022 ; supercalculateur installé sur le plateau de Saclay
  • projet d’un cloud souverain et appels d’offres sur la protection des données

En 2019, un tableau recense les pays et régions du monde ayant déposé le plus de brevets IA dans le monde. Rang 1 : USA, rang 2 : Chine. La France arrive au rang 14.

Mon avis sur l’ouvrage :

L’ouvrage de Pascal Boniface était celui que je souhaite le plus lire dans la sélection que je m’étais faite sur la question, et c’est également ce qui m’avait attiré dans son introduction : le fait qu’il s’agisse d’un littéraire se questionnant sur une problématique scientifique.

Cependant, j’ai eu l’impression durant ma lecture que, malgré les éléments de définition du premier chapitre, il traite de l’intelligence artificielle quasiment exclusivement avec la perspective des géants du numérique, même en considérant les aspects qui y sont corrélées (contrôle social, traitement des données).

En gros, j’aurais lu ce livre en premier, il m’aurait servi de porte d’entrée. L’avoir lu en dernier m’a laissé quelque peu sur ma faim. Au lieu d’un auteur spécialiste de géopolitique qui s’intéresse à l’intelligence artificielle, j’aurais eu besoin (à titre personnelle) d’un spécialiste de l’intelligence artificielle qui s’intéresse à la géopolitique.

Revue de presse

Pour cette revue de presse, contrairement aux épisodes précédents, j’ai décidé de ne pas trop détaillé le contenu des périodiques concernés et de me concentrer sur ce que j’ai pu trouver de plus récent – hors quotidiens.

Le Monde diplomatique n°829

Je l’ai retenu parce qu’il propose un éclairage sur l’intelligence artificielle en Chine : «La Chine entravée dans la bataille de l’intelligence artificielle » (p.12-13).

La Chine a porté ce secteur comme priorité nationale dès 2017 et dispose de différents atouts : précurseur dans le paiement via smartphone, le recours aux robots dans les services publics, l’association étroite entre entreprises, chercheurs et administrations.

Elle bénéficie de travailleurs qualifiés et ses applications sont reconnues (TikTok, cloud d’Alibaba, chatbots, système de circulation automobile, reconnaissance faciale, service de robots taxis, générateur d’images).

Plusieurs freins viennent gêner ces progrès : la fuite des cerveaux chinois, le retard et le blocage des investissements notamment dans le secteur des semi-conducteurs (et du coup le risque de pénurie qu’ils suscitent), la mainmise de l’État, les sanctions des États-Unis à l’encontre de la Chine.

Un encart revient sur l’application TikTok et les pressions et initiatives pour l’interdire en Amérique du Nord et en Europe de l’Ouest.

Courrier international n°1685 (16-22 février 2023)

C’est le premier de l’année, pour ce périodique, à s’intéresser en Une à ChatGPT, avec un article publié dans The Sunday Times du 5 février. Il revient sur les « exploits » de l’outil depuis son lancement en novembre 2022, l’utilisation de ChatGPT par les étudiants britanniques (et les réactions des universités), par les employés pour rédiger des lettres de motivation, dans le milieu du journalisme ou de la programmation.

Le numéro de The Economist du 30 janvier propose lui un retour sur les centres de recherche privés et les entreprises qui ont favorisé la montée en puissance de l’intelligence artificielle, avec d’un côté les géants OpenAI, Amazon, Google et Meta, et de l’autre les organismes chinois financés par l’État comme la Beijing Academy of AI.

Un entretien publié dans le New York Times en décembre 2022 avec Yejin Choi, scientifique et informaticienne, revient enfin sur les idées reçues concernant l’intelligence artificielle.

Le dossier propose en outre :

  • une chronologie de la genèse de ChatGPT
  • une revue de presse revenant sur les réactions suscitées par l’outil (éducation, emploi, recherche, sécurité)
  • ses principaux exploits
Courrier international n°1695 (27 avril – 3 mai 2023)

Le dossier proposé dans ce numéro « Intelligence artificielle : fini de rire » est un peu plus conséquent et propose une vision plus pessimiste, étayée par des articles de la presse américaine, suisse et tchèque.

Il revient sur les risques suscités par le développement des modèles de langue : fuite d’informations, réponses biaisées, hameçonnage, tentatives d’arnaques, qui passent par l’injection dans l’outil de prompts (consignes) pour obtenir des informations personnelles de la part de l’internaute.  (MIT Technology Review)

Un extrait du Temps est consacré au double jeu d’Elon Musk en matière d’IA : signataire d’une pétition demandant une pause de la recherche tout en créant une start-up spécialisée sur la question.

Un entretien avec Niels Ackermann, photojournaliste, revient sur les prouesses des IA génératives dans la création d’images et l’utilisation de ces images et de deepfakes dans les médias. (Heidi news)

La revue de presse du dossier revient sur certaines mesures de régulation prises au moment où paraissait ce numéro : suspension de ChatGPT en Italie, censure en Chine.

Courrier international n°1704 (29 juin – 5 juillet 2023)

Il s’agit ici d’une controverse proposée sur une seule page : « IA : L’Europe fait-elle bien de légiférer ? » avec

  • côté POUR un article du Süddeutsche Zeitung (Allemagne) : publication du IA ACT le 14 juin par le Parlement européen avec l’accent mis sur la protection des données personnelles et le respect de la vie privée, ainsi que la lutte contre la désinformation ;
  • côté CONTRE un article de Rzeczpospolita (Pologne) : l’excès de réglementation européenne comme frein à l’essor économique et le fait pour l’Europe de rester à la traîne dans la course technologique.

En deux mots, d’un côté sécurité, de l’autre liberté.

Autres ressources

Notes de lecture sur l’intelligence artificielle (épisode 2)

de

On 16 juillet 2023

dans Aux infos, etc. !

Voici un deuxième épisode de mes notes de lecture sur l’intelligence artificielle, qui tentera entre autres de répondre à la question suivante : les livres jaunes sont-ils de bons vulgarisateurs ?

En d’autres termes : l’expression « pour les nuls » permet-elle réellement à un non-spécialiste de maîtriser un sujet ?

Ce deuxième épisode s’intéressera donc, après celui qui m’avait mis le pied à l’étrier et qui s’intéressait à la question en proposant une chronologie et un regard scientifique, à des ressources qui revendiquent, si je peux m’exprimer ainsi, de traduire l’intelligence artificielle en langage naturel.

Dans cet épisode :

  1. les ouvrages Comprendre la révolution de l’intelligence artificielle et L’intelligence artificielle pour les nuls
  2. les dossiers de Geek junior n°23 et du hors-série de Tangente n°86
  3. une sélection de ressources

Comprendre la révolution de l’intelligence artificielle, Stéphane d’Ascoli

Ouvrage publié en 2020 chez First éditions, 189 pages. 13 chapitres, un glossaire à la fin, ainsi que des propositions bibliographiques de prolongement.

Les 13 chapitres sont répartis en quatre parties distinctes. La première partie « Intelligence artificielle : retour aux sources » revient sur des éléments définitionnels et chronologiques.

chapitre 1 : le monde des algorithmes / chapitre 2 : l’ia des mythes originels à aujourd’hui
  • retour sur des éléments de définition déjà évoqués dans mon épisode 1 : algorithme, machine learning, deep learning.

L’ouvrage fait en outre la distinction entre IA symbolique qui suit des règles explicites et IA connexionniste qui utilise des exemples pour fonctionner et améliorer ses réponses.

  • chronologie depuis l’Antiquité (Pygmalion et Galatée) jusqu’à AlphaGo.

Les deux parties suivantes vont s’intéresser aux deux modes de fonctionnement de l’intelligence artificielle : le machine learning (3 chapitres) et son sous-domaine le deep learning (4 chapitres).

chapitre 3 : comprendre le machine learning
  • apprendre à partir de données et généraliser l’apprentissage à de nouvelles données en ajustant avec différents curseurs. Plus un algorithme dispose de curseurs, plus il pourra résoudre des problèmes en ayant une fonction de perte satisfaisante (un score de performance : plus il est élevé, moins les performance sont bonnes) ;
  • bruit et silence en intelligence artificielle : l’overfitting (un algorithme avec trop de curseurs mémorise des informations inutiles) et l’underfitting (un algorithme avec trop peu de curseurs qui n’aura pas assez de données pour fonctionner correctement)
  • 3 types d’apprentissages pour les algorithmes : supervisé, non supervisé et par renforcement.
chapitre 4 : un jour dans la vie d’un concepteur d’ia

Pour mettre au point une IA, l’analogie de la recette de cuisine : il faut une recette (l’algorithme), des ustensiles (les processeurs de calcul) et des ingrédients (les données).

Le chapitre détaille les différentes étapes de traitement des données :

  1. récolter les données
  2. les nettoyer
  3. sélectionner les caractéristiques d’intérêt
  4. formater les données
  5. séparer les données d’entrainement et de test

et l’évaluation d’un algorithme à travers deux types de critère : la sensibilité (capacité d’un algorithme à donner un résultat positif lorsqu’une hypothèse est vérifiée) et la spécificité (capacité à donner un résultat négatif lorsqu’une hypothèse n’est pas vérifiée).

chapitre 5 : quelques applications célèbres
  • la régression linéaire pour déterminer les taux de prêt
  • l’utilisation d’arbres décisionnels pour établir un diagnostic médical à partir d’une série de symptômes
  • les systèmes de recommandation

Pour suggérer des films susceptibles de vous plaire, Netflix doit apprendre vos goûts au moyen d’un système de recommandation. (…) Cette méthode se résume dans une formule récurrente « Les utilisateurs qui ont aimé X ont également aimé Y ».

L’idée est simple : séparer les utilisateurs en groupes, correspondant à des « communautés » de goûts.

chapitre 6 : comprendre le deep learning
  • le perceptron (modèle mathématique du neurone) comme premier pas vers le deep learning ;
  • le transfer learning permet aux algorithmes entrainés à une certaine tâche de se conformer à une nouvelle tâche

Les trois chapitres suivants s’intéressent à différentes applications du deep learning : les images, le langage et les agents intelligents.

chapitre 7 : deep learning et images

Ce chapitre revient sur les différentes formes de traitement de l’image par les algorithmes dont :

  • la reconnaissance faciale qui utilise des réseaux convolutifs (opération qui consiste à scruter par parcelles pour extraire de manière autonome les caractéristiques d’une image),
  • la génération d’image qui s’appuie sur des algorithmes génératifs (comme pour les deep fakes) fonctionnant avec des réseaux de neurones encodeurs et décodeurs.
chapitre 7 : deep learning et langage

Pour représenter les mots, les algorithmes utilisent la méthode du plongement lexical qui consiste à représenter des mots par des vecteurs – soit un paquet de nombres (cela permet entre autres de repérer les discours de haine sur les réseaux sociaux).

Le chapitre étudie également le fonctionnement des claviers prédictifs avec les réseaux récurrents, le mécanisme d’attention utilisé par les outils de traduction automatique, et les étapes de réponse à une demande par les assistants vocaux.

chapitre 8 : deep learning et agents intelligents

L’agent intelligent est un algorithme capable de percevoir son environnement et d’interagir avec lui.

Le chapitre revient sur l’apprentissage par renforcement des algorithmes avec les exemples d’AlphaGo et des voitures autonomes.

La dernière partie de l’ouvrage est consacrée à « L’humanité face à l’intelligence artificielle » avec des problématiques qui peuvent être réutilisées dans le cadre de débats avec les élèves (SNT, enseignement scientifique, EMC, philosophie).

  • Chapitre 10 : l’intelligence artificielle face à l’intelligence humaine (avec le test de Turing) avec un retour sur le fonctionnement d’AlphaGo.

Citation d’Albert Einstein : « Les ordinateurs sont incroyablement rapides, précis et stupides. Les hommes sont incroyablement lents, inexacts et intelligents. L’ensemble des deux constitue une force incalculable ».

  • Chapitre 11 : faut-il craindre l’IA ? Culture populaire avec Asimov, Kubrick, Terminator… Applications militaires et dérives de l’intelligence artificielle (système de crédit social en Chine, reconnaissances faciales, deep fake, falsification d’identité). Impacts de l’IA sur le monde du travail et sur l’environnement.
  • Chapitre 12 : comment concevoir une IA « éthique » ?

Le chapitre revient sur les problématiques d’utilisation des données : collecte des données personnelles, enfermement dans les bulles de filtres, retour sur le scandale Cambridge Analytica, biais des algorithmes.

Quelle responsabilité donner aux algorithmes (Moral Machine) ? Comment réduire les impacts environnementaux du numérique ?

  • Chapitre 13 : l’IA peut-elle servir l’humanité ? Retour sur les potentialités de l’intelligence artificielle dans les domaines du handicap, de la recherche scientifique (lutte contre le cancer, physique des particules, astrophysique) et de l’éducation.

Mon avis sur l’ouvrage :

Le plus : il s’agit d’un véritable ouvrage de vulgarisation, les schémas sont parlants et lisibles, des encarts permettent de faire des rappels synthétiques, et l’auteur propose pour des notions techniques des analogies qui permettent vraiment de comprendre le sujet sans être noyé d’informations.

L’intelligence artificielle pour les nuls, John Paul Mueller & Luca Massaron

Ouvrage publié en 2019 chez F1rst intractive, 343 pages. 20 chapitres, une introduction qui fait office de mode d’emploi du livre, un index en fin d’ouvrage.

Les 20 chapitres sont répartis en 6 parties distinctes, dont l’introduction explicite si le propos s’adresse davantage aux novices ou aux spécialistes.

Partie 1 : introduction à l’ia

Cette première partie se décompose en 4 chapitres qui vont expliciter le fonctionnement basique d’une intelligence artificielle.

Le premier chapitre « Introduction à l’IA » redonne des points de définition (en particulier sur ce que l’on entend par intelligence) et un bref aperçu historique de l’intelligence artificielle.

La porte d’entrée de l’ouvrage, contrairement aux deux autres livres abordés précédemment (Turing à la plage et Comprendre la révolution de l’intelligence artificielle) se fait non pas via la machine mais de manière plus approfondie via les données traitées et les algorithmes.

Dans le deuxième chapitre « Définir le rôle des données« , les auteurs reviennent sur les sources et la fiabilité des données exploitées par les algorithmes.

Focus sur les listes déroulantes :

Les listes déroulantes sont adaptées à toutes sortes d’entrées de données, et elles rendent la saisie de données par un utilisateur humain extrêmement fiable, puisque l’utilisateur n’a pas d’autres possibilité que d’utiliser une des entrées proposées par le système.

Les auteurs identifient cinq types de données incorrectes : les données mensongères, les omissions volontaires, les erreurs de perspectives (divergence de points de vue), les biais et le cadre de référence (c’est-à-dire le contexte et la situation d’utilisation des données).

L’intérêt de ce chapitre est de mettre en lumière la vigilance à avoir vis à vis de l’information, et ce au-delà de la question de l’intelligence artificielle :

  • utilisation d’un thesaurus / descripteurs VS mots clés pour la question des listes déroulantes
  • différentes formes de désinformation et prolongement de la question des données incorrectes vers les biais de confirmation et les bulles de filtres.
  • l’ouvrage renvoie vers le site Data never Sleeps qui permet de voir l’évolution de la collecte des données quotidiennes depuis 2013

Les chapitres 3 et 4 reviennent sur le fonctionnement des algorithmes et du matériel informatique (processeurs graphiques).

partie 2 : recenser les utilisations de l’ia dans la société

Cette seconde partie revient sur les utilisations de l’intelligence artificielle dans les applications informatiques, et sur les deux fonctionnalités principales qui sont attendues de l’intelligence artificielle : les corrections et les suggestions.

On retrouve notamment les corrections non seulement dans les vérificateurs orthographiques mais aussi dans la correction de trajectoire des voitures, et la suggestion dans le traitement automatique du langage naturel et la recherche d’information.

L’intelligence artificielle sert également à automatiser des processus courants et à s’épargner des tâches ennuyeuses et répétitives (principalement dans le domaine de l’industrie). Dans le domaine médical, l’IA est utilisée pour le suivi des patients, le diagnostic et de nouvelles techniques chirurgicales.

Enfin elle permet d’améliorer l’interaction humaine en créant de nouveaux alphabets (emojis), en automatisant la traduction ou en créant des liens sur les réseaux sociaux.

partie 3 : travailler avec des applications électroniques de l’ia / partie 4 : travailler avec l’ia dans des applications matérielles

Dans la troisième partie de l’ouvrage, les auteurs reviennent sur les analyses de données par l’intelligence artificielle.

Les points que je retiens de ces chapitres :

  • l’utilisation pour l’analyse des données des outils statistiques (moyenne et variance) et du calcul de corrélation et de la régression linéaire, qui indiquent si des phénomènes peuvent être liés les uns aux autres, ce qui m’a rappelé l’épisode d’E-penser sur la différence entre corrélation et causalité ;
  • un retour sur l’apprentissage machine avec les distinctions entre apprentissage supervisé, non supervisé et par renforcement ;
  • les probabilités, les graphes et les arbres de décision.

Le dernier chapitre de la troisième partie est consacré à l’apprentissage profond et à ses modes de fonctionnement. Les auteurs s’intéressent à son application dans les agents conversationnels.

Ils reviennent sur le premier agent conversationnel, ELIZA, élaboré par Joseph Weizenbaum en 1966, qui propose une réponse à partir d’un ensemble d’associations et de sujets présélectionnés. Deux autres agents plus récents sont mentionnés : Google Smart Reply et Tay, ainsi que le prix Lobner. Le chapitre se termine par la mention suivante :

Pour avoir une idée des progrès de ces technologies, lisez les pages consacrées à ces réseaux sur le site Internet d’OpenAI, un organisme de recherche sur l’IA à but non lucratif (…).

La quatrième partie s’intéresse aux applications matérielles : la robotique (prétexte à reprendre les lois de la robotique d’Asimov), les drones et les voitures autonomes. Ces problématiques peuvent être réutilisées dans le cadre de débats avec les élèves (SNT, enseignement scientifique, EMC, philosophie).

Un encart dans le chapitre sur les drones revient sur le film WarGames qui donne l’exemple d’une intelligence artificielle (l’ordinateur PROG) dont le fonctionnement est biaisé par le piratage.

partie 5 : se pencher sur l’avenir de l’ia / partie 6 : la partie des dix

Ces deux dernières parties sont consacrées aux perpectives offertes par l’intelligence artificielle, dont certaines sont à relativiser ou à actualiser étant donnée la date de publication de l’ouvrage.

Dans la partie 5, les auteurs reviennent sur certains domaines de l’intelligence humaine et où l’intelligence artificielle trouve ses limites, à savoir la créativité, l’imagination, l’originalité, et la fiabilité des données – puisque les résultats d’une IA peuvent être biaisés par des facteurs humains ou des déficiences techniques.

Sont abordés à nouveau les « hivers de l’IA« , périodes durant lesquelles un optimisme démesuré se confronte à des échecs pourtant prévisibles.

Le chapitre 16 est consacré aux applications de l’IA dans l’espace (question qui peut être traitée notamment dans le programme d’HGGSP Terminale) avec l’observation spatiale, l’exploration, l’exploitation des ressources. Le chapitre 17 aborde les possibilités de l’IA notamment dans le domaine environnemental.

La « partie des 10 » propose des pistes de réflexion autour de trois chapitres (à réutiliser en EMC, philosophie et HLP, et en sujets de grand oral) :

  • 10 activités à l’abri de l’IA, où l’on retrouve le domaine de l’interaction humaine, notamment l’enseignement (ouf), de la créativité et de l’intuition
  • 10 contributions importantes de l’IA à la société (médecine, industrie, projets spatiaux)
  • 10 exemples d’échecs de l’IA, principalement dans le domaine des relations et de la connaissance intrapersonnelle : compréhension, éthique, extrapolation des données, empathie, affinité intellectuelle, remise en question et croyances.

Mon avis sur l’ouvrage

Comme beaucoup d’ouvrages de la collection « Pour les nuls » que j’ai pu parcourir, celui-ci ne m’a pas vraiment satisfait.

Cette collection peut être très utile lorsqu’il s’agit de proposer un guide pratique pour apprendre une langue (ou un langage informatique… le seul qui figure dans ma bibliothèque est consacré aux codes HTML, XML et CSS).

En revanche pour traiter d’une thématique, je trouve la structure et le propos souvent complexes et alambiqués, et vulgarisant finalement très mal le sujet qu’ils sont censés aborder, avec des systèmes de renvois à des articles en ligne et certaines phrases jouant sur une connivence avec le sujet que le lecteur ne parvient pas à s’approprier.

Geek Junior n°33 d’avril 2023

Cette revue dédiée à la culture numérique proposait un dossier consacré à l’intelligence artificielle et à ChatGPT dans son numéro d’avril 2023.

Ce numéro aborde l’intelligence artificielle sous différents aspects :

  • le dossier donne la parole à un « expert » (Laurence Devillers, chercheuse au CNRS) avec 3 questions : définition / limites de ChatGPT et conseils d’utilisation (p.9)
  • 8 questions / réponses sur ChatGPT et un encart de mise en garde face aux fake news (p.10-11)
  • un lexique de l’intelligence artificielle et un retour sur ce qu’est un prompt (p.12)
  • un tutoriel pour s’initier à l’intelligence artificielle avec Adacraft (une application web qui fonctionne en prolongement de Scratch) p.21-23
  • un quiz et des mots mêlés  p.29-30

Tangente Hors-série n°86 de juin 2023

Cette revue spécialisée dans l’enseignement des mathématiques consacre un article à « Chat-GPT : une IA très mathématique » (p.16-18).

L’article revient sur le mode de fonctionnement de Chat-GPT : agent conversationnel et réseau de neurones, où la modélisation du texte généré passe par la vectorisation (chaque mot = un vecteur), par l’apprentissage par renforcement et par un mécanisme d’attention (scores et récompenses données en fonction de la pertinence de la réponse).

Autres ressources

Pour finir voici un petit panel de ressources pour prolonger ces lectures et pour garder la trace d’autres lectures à venir :

  • deux Digipad : une veille sur l’IA et un Digipad « IA et éducation« 
  • le journal gratuit Day-Click que l’on reçoit gratuitement dans les établissements scolaires, et son numéro de mai 2023, qui revient sur les technologies de rupture, avec deux pages sur l’intelligence artificielle

DAY-CLICK_30.p.p

Page 2 sur 3

← Précédent

Suivant →

octobre 2024
L M M J V S D
« Sep    
 123456
78910111213
14151617181920
21222324252627
28293031  

Suivez-moi sur Twitter

Étiquettes

#LudoDOC Alfred Hitchcock bande dessinée blog CDI Charlie Chaplin cinéma cinémathèque collège communication concours documentation escape game exposition facebook formation François Truffaut Game of thrones histoire Hollywood identité numérique information intelligence artificielle jeux lecture liaison CM2 6E littérature lycée musique média numérique palmarès Philippe Lombard presse profession réseaux sociaux science-fiction SNT stars Star Wars série télévisée technologies veille écriture élèves

Favoris

Auteur

Juliette Filiol

professeure documentaliste

Le contenu de ce blog est sous licence Creative Commons, merci d’en respecter les droits.

Cinephiledoc

https://www.facebook.com/Cinephiledoc/

Fièrement propulsé par WordPress & Thème par Anders Norén