G
News
January 10, 2023
10 min read

Exclusive interview: our first television appearance on AI risks & security

This interview of Jean-Marie John-Mathews, co-founder of Giskard, discusses the ethical & security concerns of AI. While AI is not a new thing, recent developments like chatGPT bring a leap in performance that require rethinking how AI has been built. We discuss all the fear and fantasy about AI, how it can pose biases and create industrial incidents. Jean-Marie suggests that protection of AI resides in tests and safeguards to ensure responsible AI.

Our first interview on BFM TV Tech & Co
Jean-Marie John-Mathews, Ph.D.
Our first interview on BFM TV Tech & Co
Our first interview on BFM TV Tech & Co

🍿 Full video

Pro-tip: you can translate the video into your language with this YouTube feature to auto-translate closed captions.

🇺🇸 English transcript

FS: François Sorel, journalist at BFM TV, host of the Tech & Co show.

JMJM: Jean-Marie John-Mathews, co-founder of Giskard & researcher at University Paris-Saclay.

FS: How do we secure artificial intelligence? Is it something to worry about? Do faulty algorithms ultimately pose a threat? Let's talk about it with Jean-Marie John-Mathews, co-founder of Giskard AI and associate researcher at Paris Saclay University.

JMJM: Good evening.

FS: The development of artificial intelligence raises a lot of new questions in terms of ethics, security, and perhaps new economic models. Is it an unprecedented revolution, or is it that finally, with each technological evolution, with each industrial advance, the same questions have been asked? Remember, robots were supposed to empty the factories.

JMJM: You are completely right to ask this question. In fact, AI is something we have known for a long time in terms of theory. But something has happened in the last few years, especially since 2010, we have had these big AI models called Deep Learning and that indeed, we really have an innovation, because in many areas, many activities, we have had a jump in performance. So you talked for example about chatGPT; we have seen some spectacular results...

FS: Able to write text in an absolutely bluffing way.

JMJM: Oh yes, completely, and it can be text, really text...

FS: And code!

JMJM: Code, in a very... I mean it can be medical text, code as you say, it can be in industrial fields... A lot of things in fact, so it is really, really an impressive performance today and to answer your question, is it really in a continuity or not, I think that today we have reached a small leap that requires effectively rethinking how we have built this artificial intelligence, especially with the regulations to come.

FS: But what are the real questions according to you to ask in relation to this risk, what is a threat and what is a fantasy?

JMJM: Artificial intelligence has indeed had a lot of promises, but there has also been a lot of fear that goes with the promises, and therefore, as you say, there have been fantasies about artificial intelligence. Today we know very well that "AI is going to dominate the planet" is a fantasy. But on the other hand, the AI that poses biases, that creates big industrial incidents, we can talk about it a little bit, that's not fantasy, and we have to address it.

FS: We will talk about it. But science fiction has given us plenty of stories where the machine took control over the human being, where we were overtaken by our creations, we are not there yet?

JMJM: No, we are not there yet, we agree, we are not there at all, even if there have been these advances, we are very far from it.

FS: So artificial intelligence feeds on what we give it and how do we make sure that it is not biased voluntarily or involuntarily?

JMJM: Indeed, given that artificial intelligence feeds on what we give it, and in fact what we give it is data, if the data are marked by biases, power relations, inequalities that we can have in society, these things will not only be reproduced by the AI, but they will also be amplified.

FS: And it will feed on itself?

JMJM: Exactly, it feeds on itself. In fact, the data that is itself created by AI can be re-engineered, reused in AIs, and in fact reproduce these biases, amplify them.

FS: And precisely, how do we make sure that it is not biased?

JMJM: Today there are a certain number of methods that work relatively well. In fact, it is in the measurement: in the measurement of the biases, of the tests that can be implemented, of course before the production, that all these protections reside, the implementation of all these safeguards, to ensure a responsible AI.

FS: And how do we make sure that it is not manipulated, there are huge stakes in terms of political power, in terms of power at all?

JMJM: Yes, this is a field of research that has been going on for a while now, trying to find out how to attack AIs. So there are several ways of attacking them: we can attack them upstream, for example by changing the input data, by injecting data that are spurious and then, downstream, by biasing the algorithm. But it can be in a different way, it can be directly by changing the code, and by relatively classic methods, known to all, which is simply to infiltrate the code, to insert oneself in a server, this kind of thing is already known.

FS: And this is technically not impossible?

JMJM: Technically, of course it's not impossible and that's why it's important to create tools to ensure protection.

FS: You mentioned it, the new European regulation on AI will soon apply a fine of 6% of the global turnover I think in case of incident on high risk algorithms. Is this threat enough for AI players to take it very seriously?

JMJM: That's a very good question, because from my point of view, it's not enough: why? For two reasons: on the one hand, AIs at risk, even if we talk a lot about them, it can be medical AIs, AIs that are going to put in place resources that are critical, these AIs are at risk, they have to be regulated. Then there are also a certain number of AIs that are not necessarily at risk and that we know very well, for example AIs in recommendation systems, that we can see in social networks, Youtube, Facebook. Today we know that these AIs can be extremely dangerous, because they create what we call echo chambers.

FS: They are already biased.

JMJM: They are already very biased and in fact...

FS: They work according to what we expect but also according to what the advertisers want us to see.

JMJM: Yes, so it can be a bias too, the advertisers, the economic logic that will influence the AIs, and in fact we know today the impacts that it can have on these AIs that are supposedly not high-risk [according to the AI regulation]. We know that hateful content, the proliferation of hateful content, we also know that the AIs that talk about politics will sometimes influence one candidate rather than another. We saw it with the American election, we had this problem. So in fact these AIs that are not high-risk [according to the AI regulation], when they are really deployed on a large scale, they can be at risk.

FS: But why is it difficult to find solutions?

JMJM: Well, that's a great question. Let's say that I think the answer already lies in the development of AI. AI is still a relatively young science, or at least the industrial science is relatively young today, and the development is a bit like the Wild West when you think about it. So, to caricature it today, we ask a data scientist, an engineer who often comes out of school, who has a database at his disposal, to use a few open source tools, which he will try to set up on his own, often in silo, and in fact, these tools that are set up will create algorithms where there will be a real cult of the performance, In fact we will really try to optimize a performance metric and in fact it turns out that this performance metric does not take into account social issues, robustness issues, drift issues, much finer performance issues, and in fact if we go even further these AIs, they can be put into production, and we will simply monitor afterwards, that is to say once everything is already launched if the AIs work or not. For example, Zillow, an American company, lost half a billion euros in 2021 because there was a robustness issue, in fact there was a problem. So it's an algorithm for estimating house prices, and we know that it lost half a billion euros. After that, there are much more well-known AIs, for example in autonomous cars, where there were human issues, in fact human losses. We can also talk about AIs, well everything that is the ethical stakes of AIs, we have the problems around discriminations, so for example a known example is the Apple Card, so a credit card of Apple where we have the problem that we had different decisions between men and women, and so it created a huge controversy and here we know the stakes.

FS: We were talking earlier about the threat of European sanctions for companies, but in the end, isn't this, the reality on the ground, an even more serious threat? When a company has lost half a billion dollars, it is a deterrent.

JMJM: Exactly, and that's the whole question, because today this European regulation, if we talk a little bit with AI practitioners, is a little bit scary, it creates fear because we think: won't it be a barrier to innovation, but in fact...

FS: They always say that when there is a regulation.

JMJM: That's right. They always say that, but as you say, in fact these AIs, this quality of AI is completely correlated to the economic stakes of these AIs, because of the losses, and so no in fact, developing responsible AI is also making sure that we have economic development that is sustainable.

FS: Let's talk about Giskard, which is what you co-founded, Giskard AI. Why Giskard?

JMJM: So that's a question we get asked a lot, and no it's not a reference to the president, the former president of the Republic, it's more of a reference to Asimov's science fiction novel, where...

FS: It's spelled with a K, it's not quite spelled...

JMJM: That's right, it's spelled with a K, and in fact we know that there are the laws of robotics which say that the robot must not harm human beings, must obey human beings, under the conditions obviously that the first law works, and in fact we have this Zeroth law, which says that the robot must not harm the whole of humanity, and that was created by a robot itself, called Giskard.

FS: Nice reference. You developed a quality assurance platform for artificial intelligence algorithms, how did you go about it?

JMJM: Well, it was a lot of R&D, that's really the starting point, for several reasons, because the idea of Giskard is to say, a bit like we would do for a classic antivirus, it's to simply scan the AIs, and find the vulnerabilities inside the AIs. It sounds simple, but in order to do that, you have to test the AI. So that's what's behind these scans. And testing AI is a complicated thing. Moreover, there is a field of research today called ML Testing, which is looking for methods precisely to test AIs. So it was a lot of investment in R&D to find methods to test AIs.

FS: And this testing platform, who does it serve?

JMJM: Today, we have several users, several customers, from Webedia, CGI, large customers but also startups, many startups, who use Giskard to scan their IAs. So today we really have both sides: the companies that really want to deal with ethical issues, governance, compliance with the new regulations, and on the other side startups that know, as we said, a good AI is also an AI that generates revenue, so they invest in solving these quality issues.

FS: The business model? Are they your users?

JMJM: So the business model is quite particular in Giskard, because we chose Open Source, for a particular reason which is that AI testing, if you want it to work, given that it is a rather complicated field, AI, you need to mobilize the collective intelligence of different practitioners...

FS: Hence the open source.

JMJM: ... who can integrate their business knowledge. So that's open source and that's really the bet we made and it works quite well, because we have traction at the open source level. And then the business model behind it is relatively classic, it's to meet the operational constraints of large groups, we'll give them the right services that go with it, with a usage model.

FS: From your platform, your work, your analysis, what advice do you draw for the development of AI?

JMJM: Well, there is a lot of advice, we even give training on this level, but if I take out only one, I would say it is inclusion. So why inclusion? Because in fact the development of AI, even if we talk about artificial intelligence, in fact behind AI you have human beings, you have engineers, you have business experts, you have data experts for example, and in fact what we need to do is to succeed in making them work together, to allow each one to express the requirements for good AI, and to make sure in fact to develop an AI which is reasoned and sustainable.

FS: And a second piece of advice, after inclusion?

JMJM: I would say, it's testing actually. You don't put an AI in production before testing, so quality is something you think about before developing the AI.

FS: One last question, but do you have the impression today that we are witnessing an evolution to a revolution perhaps as important as the appearance of robots, that is to say that AI is the robot of the mind? It is the robot of intellectual professions, at least in its application.

JMJM: So yes, there is indeed a lot of AI today, which does not replace, but does helps a lot certain professions, in particular professions where we need to do repetitive tasks, but from there to say that there is a revolution, which are linked to these fantasies...

FS: That's the fantasy machine.

JMJM: Yes, I think so.

FS: Thank you very much.

🇫🇷 French transcript

FS : François Sorel, journaliste de BFM TV, hôte de l'émission Tech & Co.

JMJM : Jean-Marie John-Mathews, co-fondateur de Giskard & chercheur à l'Université Paris-Saclay.

FS : Comment sécuriser l'intelligence artificielle ? Est-ce qu'il faut s'en inquiéter ? Est-ce que des algorithmes défaillants représentent finalement une menace ? On va en parler avec Jean-Marie John-Mathews, cofondateur de Giskard AI et chercheur associé à l'université Paris Saclay. Bonsoir !

JMJM : Bonsoir.

FS : Le développement de l'intelligence artificielle pose plein de nouvelles questions en termes d'éthique, de sécurité de remise en cause peut-être de nouveaux modèles économiques. Est-ce que c'est une révolution sans précédent, est-ce que finalement à chaque évolution technologique, à chaque avancée industrielle on s'est posé les mêmes questions ? Rappelez-vous, les robots devaient vider les usines.

JMJM : Vous avez complètement raison de poser cette question là. En fait effectivement l'IA c'est quelque chose qu'on connaît depuis bien longtemps en termes de théorie. Mais il s'est passé quand même quelque chose ces dernières années, notamment depuis 2010, on a eu ces gros modèles d'IA qu'on appelle le Deep Learning et qui effectivement là, on a vraiment une innovation, parce que sur beaucoup de domaines, beaucoup d'activités, on a eu un saut de performance. Alors vous avez parlé par exemple de chatGPT ; On a vu un peu ces résultats un peu spectaculaires.

FS : Capable d'écrire du texte de manière absolument bluffante.

JMJM : Ah oui complètement, et ça peut être du texte, vraiment de...

FS : Et du code !

JMJM : Du code, de variante très... Enfin ça peut être du texte médical, du code comme vous dites, ça peut être dans des domaines industriels... Plein de choses en fait, donc c'est vraiment, vraiment une performance qui est aujourd'hui impressionnante et pour répondre à votre question, est-ce que c'est vraiment dans une continuité ou pas, je pense que là aujourd'hui on est arrivé à un petit saut qui nécessite effectivement de repenser comment on l'a construit cette intelligence artificielle, notamment avec des régulations à venir.

FS : Mais quelles sont les vraies questions selon vous à se poser par rapport à ce risque, qu'est-ce qui relève de la menace et qu'est-ce qui relève du fantasme ?

JMJM : Alors l'intelligence artificielle effectivement a eu beaucoup de promesses, il y a eu beaucoup de de peur aussi qui vont avec les promesses et donc du coup effectivement comme vous dites il y a eu des fantasmes avec l'intelligence artificielle. Là aujourd'hui on le sait très bien l'IA qui va dominer la planète, c'est là on est peut-être de l'ordre du fantasme et ça c'est vrai. Mais par contre l'IA qui pose des biais, qui créent des gros incidents industriels on peut en parler un petit peu, ça c'est pas du fantasme, et ça il faut l'adresser.

FS : On va en parler. Mais la science-fiction nous a abreuvé d'histoires où la machine prenait le contrôle sur l'être humain, où on se faisait dépasser par nos créations, on n'y est pas encore ?

JMJM : Non on n'y est pas encore, non ça on est d'accord, on y est pas du tout, même s'il y a eu ces avancées là, on y est très loin.

FS : Alors l'intelligence artificielle elle se nourrit de ce qu'on lui donne finalement et comment est-ce qu'on s'assure qu'elle n'est pas biaisée volontairement ou involontairement?

JMJM : Effectivement, étant donné que l'intelligence artificielle se nourrit de ce qu'on donne et en fait ce qu'on donne c'est des données, si les données sont empreintes de biais, de rapports de pouvoir, d'inégalités qu'on peut avoir dans la société, ces choses-là non seulement elles vont être reproduites par l'IA, mais elles vont être aussi amplifiées.

FS : Et là elle va se nourrir d'elle-même ?

JMJM : Exactement, elle se nourrit d'elle-même. En fait les données qui sont elle-mêmes créées par l'IA peuvent être ré-engendrées, réutilisées dans les IAs, et en fait reproduire ces biais, les amplifier.

FS : Et justement, comment on s'assure que que ce n'est pas biaisé?

JMJM : Alors aujourd'hui il y a un certain nombre de méthodes qui marchent relativement bien. En fait c'est beaucoup dans la mesure : dans la mesure des biais, des tests qu'on peut implémenter, bien sûr avant la mise en production, que réside en fait toutes ces protections, la mise en place de tous ces garde-fous, pour s'assurer d'une IA responsable.

FS : Et comment on s'assure qu'elle n'est pas manipulée, il y a des enjeux colossaux en termes de de pouvoir politique, en termes de pouvoir tout court ?

JMJM : Effectivement, alors ça c'est un domaine de la recherche qui existe depuis un petit moment aujourd'hui, et qui essaye de savoir comment on peut attaquer les IAs. Donc il y a plusieurs manières de les attaquer : on peut les attaquer en amont, donc par exemple en changeant les données en entrée, en injectant des données qui sont fallacieuses pour ensuite, en aval, biaiser l'algorithme. Mais ça peut être d'une différente manière, ça peut être directement en changeant le code, et par des méthodes relativement classiques, connues de tous, qui est simplement d'infiltrer le code, de s'insérer dans un serveur, ce genre de choses ça c'est des choses qu'on connaît déjà.

FS : Et ça techniquement c'est pas impossible ?

JMJM : Techniquement, évidemment c'est pas impossible et d'où tout l'intérêt de créer les outils pour s'assurer de la protection.

FS : Vous l'avez mentionné, la nouvelle régulation européenne sur l'IA elle appliquera bientôt une amende de 6% du chiffre d'affaires mondial je crois en cas d'incident sur les algorithmes à haut risque. Est-ce que cette menace elle est suffisante pour que les acteurs de l'intelligence artificielle la prennent très au sérieux ?

JMJM : Alors c'est une très bonne question, parce que de mon point de vue, c'est pas suffisant : pourquoi ? Pour deux raisons : d'une part les IAs à risque, même si on en parle beaucoup, ça peut être les IAs médicales, les IAs qui vont mettre en place qui vont allouer des ressources qui sont critiques, ces IAs là sont à risque, effectivement il faut les réguler. Après il y a aussi un certain nombre d'IAs qui sont pas forcément à risque et qu'on connaît très bien, donc par exemple les IAs dans les systèmes de recommandation, qu'on peut voir dans les réseaux sociaux, Youtube, Facebook. Aujourd'hui on sait que ces IAs là peuvent être extrêmement dangereuses, parce qu'elles créent ce qu'on appelle des chambres d'écho.

FS : Elles sont déjà biaisées.

JMJM : Elles sont déjà très biaisées et en fait...

FS : Elles fonctionnent en fonction de ce qu'on attend mais aussi en fonction de ce que les annonceurs veulent nous faire voir.

JMJM : Oui alors ça peut être un biais aussi, les annonceurs, les logiques économiques qui vont influencer les IAs, et en fait on sait aujourd'hui les impacts que ça peut avoir sur ces IAs qui sont entre guillemets à non risques, on sait que les contenus haineux, la prolifération des contenus haineux, les contenus fallacieux,
les deep fakes par exemple, on a aussi la radicalisation, les atteintes à la démocratie, par exemple on sait que les IAs qui vont parler de politique vont quelquefois plutôt influencer un candidat plutôt qu'un autre, on l'a vu avec l'élection américaine, on a eu ce problème-là. Donc en fait ces IAs qui sont pas à risque, quand elles sont déployées vraiment à l'échelle, elles peuvent être à risque.

FS : Mais pourquoi est-ce que c'est difficile de trouver des solutions ?

JMJM : Alors ça c'est une super question. Disons que la réponse réside à mon avis déjà dans le développement de l'IA. L'IA c'est quand même une science qui est relativement jeune, en tout cas la science industrielle aujourd'hui elle est relativement jeune, et le développement c'est un peu le Far West en fait qu'on y pense. Alors en caricaturant aujourd'hui on demande à un Data scientist, à un ingénieur souvent sorti d'école, qui a à disposition une base de données, d'utiliser quelques outils Open Source, qu'il va essayer de mettre en place tout seul, souvent en silo et en fait souvent ces outils là qui sont mis en place vont créer des algorithmes où il y aura un véritable culte de la performance, en fait on va essayer vraiment d'optimiser une métrique de performance et en fait il se trouve que cette métrique de performance elle ne prend pas en compte des enjeux sociaux, des enjeux de robustesse, des enjeux de dérive, des enjeux de performance beaucoup plus fines, et en fait si on va encore plus loin ces IAs, elles peuvent être mises en production, et on va simplement monitorer à posteriori, c'est-à-dire une fois que tout est déjà lancé si les IAs marche ou pas. Alors évidemment, ce qui se passe c'est des catastrophes, on les connaît, il y a par exemple Zillow, une entreprise américaine qui a perdu un demi milliard d'euros en 2021 parce qu'il y a eu un enjeu de robustesse, en fait il y a eu un problème. Donc c'est un algorithme d'estimation des prix des maisons et là on sait que ça fait perdre 1 demi milliard d'euros. Après il y a des IAs beaucoup plus connues, par exemple dans les voitures autonomes, là il y a eu des enjeux humains, en fait des pertes humaines. On peut parler aussi des IAs, enfin tout ce qui est les enjeux éthiques des IAs, on a les problèmes autour des discriminations, donc par exemple un exemple connu c'est l'Apple Card, donc une carte de crédit d'Apple où on a le problème qu'on avait des décisions différentes entre les hommes et les femmes, et donc ça a créé une énorme controverse et voilà on les connaît les enjeux.

FS : On parlait tout à l'heure des menaces de sanctions européennes pour les entreprises, mais finalement est-ce que ça, la réalité du terrain, c'est pas une menace encore plus sérieuse ? Quand une entreprise a perdu un demi milliard, c'est dissuasif.

JMJM : Exactement et c'est là toute la question, parce qu'aujourd'hui cette régulation européenne si on va discuter un peu avec les praticiens de l'IA, elle fait un peu peur, elle suscite de la peur parce qu'on se dit : est-ce que ça va pas être une barrière à l'innovation, mais en fait...

FS : On dit toujours ça quand il y a une règlementation.

JMJM : Voilà, c'est ça. On dit toujours ça, mais comme vous le dites, en fait ces IAs, cette qualité de l'IA est complètement corrélée aux enjeux économiques de ces IAs, à cause des pertes, et donc non en fait, développer une IA responsable, c'est aussi s'assurer d'avoir un développement économique qui soit durable.

FS : On va parler de Giskard c'est ce que vous avez co-fondé, Giskard AI. Pourquoi Giskard ?

JMJM: Alors c'est une question qu'on nous pose souvent, et non ce n'est pas une référence au président, à l'ancien président de la République, c'est plutôt une référence au roman de science-fiction d'Asimov, où alors.

FS :Ça s'écrit avec un K, ça s'écrit pas tout à fait...

JMJM : C'est ça, ça s'écrit avec un K, et en fait on sait qu'il y a les lois de la robotique qui disent que le robot ne doit pas porter atteinte à l'être humain, doit obéir aux êtres humains, sous conditions évidemment que la première loi marche, et en fait on a cette loi Zéro, qui dit que le robot ne doit pas porter atteinte à l'humanité toute entière, et ça a été créé par un robot lui-même, qui s'appelle Giskard.

FS : Belle référence. Vous avez mis au point une plateforme d'assurance qualité pour les algorithmes d'intelligence artificielle, comment est-ce que vous y êtes pris ?

JMJM : Alors ça a été beaucoup de R&D, ça c'est vraiment le point de départ, pour plusieurs raisons, parce que nous l'idée de Giskard en fait, c'est de se dire, un peu comme on le ferait pour un antivirus classique, c'est de scanner les IAs tout simplement, et de trouver les vulnérabilités qu'il y a à l'intérieur des IAs. Dit comme ça, ça paraît simple, mais pour y arriver il faut faire des tests de l'IA. Donc c'est ce qu'il y a derrière en fait ces scans. Et tester l'IA, c'est quelque chose de compliqué. D'ailleurs il y a un domaine de recherche aujourd'hui qui s'appelle le ML Testing, qui cherche des méthodes justement pour tester les IAs. Donc c'était beaucoup d'investissement en R&D pour trouver les méthodes pour tester les IAs.

FS : Et cette plateforme de test, elle sert à qui ?

JMJM : Alors aujourd'hui, on a plusieurs utilisateurs, plusieurs clients donc ça va de Webedia, CGI, des grands clients mais ça peut être aussi des startups, beaucoup de startups, qui utilisent Giskard justement pour scanner leur IAs. Aujourd'hui donc on a vraiment les deux volets : les boîtes qui veulent vraiment s'occuper des questions éthiques, de gouvernance, de conformité à la nouvelle réglementation, et de l'autre côté des startups qui savent, que comme on l'a dit, une bonne IA c'est aussi une IA qui génère du revenu, donc qui investissent dans ces enjeux de qualité.

FS : Le business model ? Ce sont vos utilisateurs ?

JMJM : Alors le business model il est assez particulier dans Giskard, parce qu'on a choisi l'Open Source, pour une raison particulière qui est que les tests de l'IA, si vous voulez que ça marche, étant donné que c'est un domaine assez compliqué l'IA, il faut qu'on mobilise l'intelligence collective des différents praticiens...

FS : D'où l'open source.

JMJM : ... qui peuvent ingérer leurs connaissances du métier. Donc ça c'est l'open source et c'est vraiment le pari qu'on a fait et qui marche assez bien, parce qu'on a de la traction au niveau Open Source. Et après le business model derrière, il est relativement classique, c'est pour répondre aux contraintes opérationnelles des grands groupes, on va leur donner les bons services qui vont avec, avec un modèle à l'usage.

FS : De votre plateforme, de vos travaux, de votre analyse, quels conseils est-ce que vous en tirez pour développer l'IA ?

JMJM : Alors il y a beaucoup de conseils, on donne même des formations à ce niveau là, mais si j'en retiens qu'une seule, je dirais c'est l'inclusion. Alors pourquoi l'inclusion ? Parce qu'en fait le développement de l'IA, même si on parle d'intelligence artificielle, en fait derrière l'IA vous avez des êtres humains, vous avez des ingénieurs, vous avez des experts métiers, vous avez des experts données par exemple, et en fait qu'est-ce qu'il faut faire, c'est réussir à les faire travailler ensemble, permettre à chacun d'exprimer les exigences pour les bonnes IAs, et faire en sorte en fait de développer une IA qui soit raisonnée et durable.

FS : Et un deuxième conseil, après l'inclusion ?

JMJM : Je dirais, c'est le test en fait. On ne met pas une IA en production avant de tester, donc la qualité ça se pense en amont du développement de l'IA.

FS : Une dernière question pour reboucler, mais ce que vous avez l'impression aujourd'hui qu'on assiste à une évolution à une révolution peut-être aussi importante que l'apparition des robots, c'est à dire que l'IA c'est un peu le robot de l'esprit ? C'est le robot des professions intellectuelles en tout cas dans son application.

JMJM : Alors oui ça effectivement il y a eu beaucoup d'IA aujourd'hui qui alors, je vais pas dire remplace, mais en tout cas qui aide beaucoup certaines professions, notamment des professions où on a besoin de faire des tâches un peu répétitives, mais de là à dire qu'il y a une révolution, qui sont liées un peu à ces fantasmes...

FS : Ça c'est la machine à fantasme.

JMJM : Oui, là je pense que oui.

FS : Merci beaucoup.

Integrate | Scan | Test | Automate

Giskard: Testing & evaluation framework for LLMs and AI models

Automatic LLM testing
Protect agaisnt AI risks
Evaluate RAG applications
Ensure compliance

Exclusive interview: our first television appearance on AI risks & security

This interview of Jean-Marie John-Mathews, co-founder of Giskard, discusses the ethical & security concerns of AI. While AI is not a new thing, recent developments like chatGPT bring a leap in performance that require rethinking how AI has been built. We discuss all the fear and fantasy about AI, how it can pose biases and create industrial incidents. Jean-Marie suggests that protection of AI resides in tests and safeguards to ensure responsible AI.

🍿 Full video

Pro-tip: you can translate the video into your language with this YouTube feature to auto-translate closed captions.

🇺🇸 English transcript

FS: François Sorel, journalist at BFM TV, host of the Tech & Co show.

JMJM: Jean-Marie John-Mathews, co-founder of Giskard & researcher at University Paris-Saclay.

FS: How do we secure artificial intelligence? Is it something to worry about? Do faulty algorithms ultimately pose a threat? Let's talk about it with Jean-Marie John-Mathews, co-founder of Giskard AI and associate researcher at Paris Saclay University.

JMJM: Good evening.

FS: The development of artificial intelligence raises a lot of new questions in terms of ethics, security, and perhaps new economic models. Is it an unprecedented revolution, or is it that finally, with each technological evolution, with each industrial advance, the same questions have been asked? Remember, robots were supposed to empty the factories.

JMJM: You are completely right to ask this question. In fact, AI is something we have known for a long time in terms of theory. But something has happened in the last few years, especially since 2010, we have had these big AI models called Deep Learning and that indeed, we really have an innovation, because in many areas, many activities, we have had a jump in performance. So you talked for example about chatGPT; we have seen some spectacular results...

FS: Able to write text in an absolutely bluffing way.

JMJM: Oh yes, completely, and it can be text, really text...

FS: And code!

JMJM: Code, in a very... I mean it can be medical text, code as you say, it can be in industrial fields... A lot of things in fact, so it is really, really an impressive performance today and to answer your question, is it really in a continuity or not, I think that today we have reached a small leap that requires effectively rethinking how we have built this artificial intelligence, especially with the regulations to come.

FS: But what are the real questions according to you to ask in relation to this risk, what is a threat and what is a fantasy?

JMJM: Artificial intelligence has indeed had a lot of promises, but there has also been a lot of fear that goes with the promises, and therefore, as you say, there have been fantasies about artificial intelligence. Today we know very well that "AI is going to dominate the planet" is a fantasy. But on the other hand, the AI that poses biases, that creates big industrial incidents, we can talk about it a little bit, that's not fantasy, and we have to address it.

FS: We will talk about it. But science fiction has given us plenty of stories where the machine took control over the human being, where we were overtaken by our creations, we are not there yet?

JMJM: No, we are not there yet, we agree, we are not there at all, even if there have been these advances, we are very far from it.

FS: So artificial intelligence feeds on what we give it and how do we make sure that it is not biased voluntarily or involuntarily?

JMJM: Indeed, given that artificial intelligence feeds on what we give it, and in fact what we give it is data, if the data are marked by biases, power relations, inequalities that we can have in society, these things will not only be reproduced by the AI, but they will also be amplified.

FS: And it will feed on itself?

JMJM: Exactly, it feeds on itself. In fact, the data that is itself created by AI can be re-engineered, reused in AIs, and in fact reproduce these biases, amplify them.

FS: And precisely, how do we make sure that it is not biased?

JMJM: Today there are a certain number of methods that work relatively well. In fact, it is in the measurement: in the measurement of the biases, of the tests that can be implemented, of course before the production, that all these protections reside, the implementation of all these safeguards, to ensure a responsible AI.

FS: And how do we make sure that it is not manipulated, there are huge stakes in terms of political power, in terms of power at all?

JMJM: Yes, this is a field of research that has been going on for a while now, trying to find out how to attack AIs. So there are several ways of attacking them: we can attack them upstream, for example by changing the input data, by injecting data that are spurious and then, downstream, by biasing the algorithm. But it can be in a different way, it can be directly by changing the code, and by relatively classic methods, known to all, which is simply to infiltrate the code, to insert oneself in a server, this kind of thing is already known.

FS: And this is technically not impossible?

JMJM: Technically, of course it's not impossible and that's why it's important to create tools to ensure protection.

FS: You mentioned it, the new European regulation on AI will soon apply a fine of 6% of the global turnover I think in case of incident on high risk algorithms. Is this threat enough for AI players to take it very seriously?

JMJM: That's a very good question, because from my point of view, it's not enough: why? For two reasons: on the one hand, AIs at risk, even if we talk a lot about them, it can be medical AIs, AIs that are going to put in place resources that are critical, these AIs are at risk, they have to be regulated. Then there are also a certain number of AIs that are not necessarily at risk and that we know very well, for example AIs in recommendation systems, that we can see in social networks, Youtube, Facebook. Today we know that these AIs can be extremely dangerous, because they create what we call echo chambers.

FS: They are already biased.

JMJM: They are already very biased and in fact...

FS: They work according to what we expect but also according to what the advertisers want us to see.

JMJM: Yes, so it can be a bias too, the advertisers, the economic logic that will influence the AIs, and in fact we know today the impacts that it can have on these AIs that are supposedly not high-risk [according to the AI regulation]. We know that hateful content, the proliferation of hateful content, we also know that the AIs that talk about politics will sometimes influence one candidate rather than another. We saw it with the American election, we had this problem. So in fact these AIs that are not high-risk [according to the AI regulation], when they are really deployed on a large scale, they can be at risk.

FS: But why is it difficult to find solutions?

JMJM: Well, that's a great question. Let's say that I think the answer already lies in the development of AI. AI is still a relatively young science, or at least the industrial science is relatively young today, and the development is a bit like the Wild West when you think about it. So, to caricature it today, we ask a data scientist, an engineer who often comes out of school, who has a database at his disposal, to use a few open source tools, which he will try to set up on his own, often in silo, and in fact, these tools that are set up will create algorithms where there will be a real cult of the performance, In fact we will really try to optimize a performance metric and in fact it turns out that this performance metric does not take into account social issues, robustness issues, drift issues, much finer performance issues, and in fact if we go even further these AIs, they can be put into production, and we will simply monitor afterwards, that is to say once everything is already launched if the AIs work or not. For example, Zillow, an American company, lost half a billion euros in 2021 because there was a robustness issue, in fact there was a problem. So it's an algorithm for estimating house prices, and we know that it lost half a billion euros. After that, there are much more well-known AIs, for example in autonomous cars, where there were human issues, in fact human losses. We can also talk about AIs, well everything that is the ethical stakes of AIs, we have the problems around discriminations, so for example a known example is the Apple Card, so a credit card of Apple where we have the problem that we had different decisions between men and women, and so it created a huge controversy and here we know the stakes.

FS: We were talking earlier about the threat of European sanctions for companies, but in the end, isn't this, the reality on the ground, an even more serious threat? When a company has lost half a billion dollars, it is a deterrent.

JMJM: Exactly, and that's the whole question, because today this European regulation, if we talk a little bit with AI practitioners, is a little bit scary, it creates fear because we think: won't it be a barrier to innovation, but in fact...

FS: They always say that when there is a regulation.

JMJM: That's right. They always say that, but as you say, in fact these AIs, this quality of AI is completely correlated to the economic stakes of these AIs, because of the losses, and so no in fact, developing responsible AI is also making sure that we have economic development that is sustainable.

FS: Let's talk about Giskard, which is what you co-founded, Giskard AI. Why Giskard?

JMJM: So that's a question we get asked a lot, and no it's not a reference to the president, the former president of the Republic, it's more of a reference to Asimov's science fiction novel, where...

FS: It's spelled with a K, it's not quite spelled...

JMJM: That's right, it's spelled with a K, and in fact we know that there are the laws of robotics which say that the robot must not harm human beings, must obey human beings, under the conditions obviously that the first law works, and in fact we have this Zeroth law, which says that the robot must not harm the whole of humanity, and that was created by a robot itself, called Giskard.

FS: Nice reference. You developed a quality assurance platform for artificial intelligence algorithms, how did you go about it?

JMJM: Well, it was a lot of R&D, that's really the starting point, for several reasons, because the idea of Giskard is to say, a bit like we would do for a classic antivirus, it's to simply scan the AIs, and find the vulnerabilities inside the AIs. It sounds simple, but in order to do that, you have to test the AI. So that's what's behind these scans. And testing AI is a complicated thing. Moreover, there is a field of research today called ML Testing, which is looking for methods precisely to test AIs. So it was a lot of investment in R&D to find methods to test AIs.

FS: And this testing platform, who does it serve?

JMJM: Today, we have several users, several customers, from Webedia, CGI, large customers but also startups, many startups, who use Giskard to scan their IAs. So today we really have both sides: the companies that really want to deal with ethical issues, governance, compliance with the new regulations, and on the other side startups that know, as we said, a good AI is also an AI that generates revenue, so they invest in solving these quality issues.

FS: The business model? Are they your users?

JMJM: So the business model is quite particular in Giskard, because we chose Open Source, for a particular reason which is that AI testing, if you want it to work, given that it is a rather complicated field, AI, you need to mobilize the collective intelligence of different practitioners...

FS: Hence the open source.

JMJM: ... who can integrate their business knowledge. So that's open source and that's really the bet we made and it works quite well, because we have traction at the open source level. And then the business model behind it is relatively classic, it's to meet the operational constraints of large groups, we'll give them the right services that go with it, with a usage model.

FS: From your platform, your work, your analysis, what advice do you draw for the development of AI?

JMJM: Well, there is a lot of advice, we even give training on this level, but if I take out only one, I would say it is inclusion. So why inclusion? Because in fact the development of AI, even if we talk about artificial intelligence, in fact behind AI you have human beings, you have engineers, you have business experts, you have data experts for example, and in fact what we need to do is to succeed in making them work together, to allow each one to express the requirements for good AI, and to make sure in fact to develop an AI which is reasoned and sustainable.

FS: And a second piece of advice, after inclusion?

JMJM: I would say, it's testing actually. You don't put an AI in production before testing, so quality is something you think about before developing the AI.

FS: One last question, but do you have the impression today that we are witnessing an evolution to a revolution perhaps as important as the appearance of robots, that is to say that AI is the robot of the mind? It is the robot of intellectual professions, at least in its application.

JMJM: So yes, there is indeed a lot of AI today, which does not replace, but does helps a lot certain professions, in particular professions where we need to do repetitive tasks, but from there to say that there is a revolution, which are linked to these fantasies...

FS: That's the fantasy machine.

JMJM: Yes, I think so.

FS: Thank you very much.

🇫🇷 French transcript

FS : François Sorel, journaliste de BFM TV, hôte de l'émission Tech & Co.

JMJM : Jean-Marie John-Mathews, co-fondateur de Giskard & chercheur à l'Université Paris-Saclay.

FS : Comment sécuriser l'intelligence artificielle ? Est-ce qu'il faut s'en inquiéter ? Est-ce que des algorithmes défaillants représentent finalement une menace ? On va en parler avec Jean-Marie John-Mathews, cofondateur de Giskard AI et chercheur associé à l'université Paris Saclay. Bonsoir !

JMJM : Bonsoir.

FS : Le développement de l'intelligence artificielle pose plein de nouvelles questions en termes d'éthique, de sécurité de remise en cause peut-être de nouveaux modèles économiques. Est-ce que c'est une révolution sans précédent, est-ce que finalement à chaque évolution technologique, à chaque avancée industrielle on s'est posé les mêmes questions ? Rappelez-vous, les robots devaient vider les usines.

JMJM : Vous avez complètement raison de poser cette question là. En fait effectivement l'IA c'est quelque chose qu'on connaît depuis bien longtemps en termes de théorie. Mais il s'est passé quand même quelque chose ces dernières années, notamment depuis 2010, on a eu ces gros modèles d'IA qu'on appelle le Deep Learning et qui effectivement là, on a vraiment une innovation, parce que sur beaucoup de domaines, beaucoup d'activités, on a eu un saut de performance. Alors vous avez parlé par exemple de chatGPT ; On a vu un peu ces résultats un peu spectaculaires.

FS : Capable d'écrire du texte de manière absolument bluffante.

JMJM : Ah oui complètement, et ça peut être du texte, vraiment de...

FS : Et du code !

JMJM : Du code, de variante très... Enfin ça peut être du texte médical, du code comme vous dites, ça peut être dans des domaines industriels... Plein de choses en fait, donc c'est vraiment, vraiment une performance qui est aujourd'hui impressionnante et pour répondre à votre question, est-ce que c'est vraiment dans une continuité ou pas, je pense que là aujourd'hui on est arrivé à un petit saut qui nécessite effectivement de repenser comment on l'a construit cette intelligence artificielle, notamment avec des régulations à venir.

FS : Mais quelles sont les vraies questions selon vous à se poser par rapport à ce risque, qu'est-ce qui relève de la menace et qu'est-ce qui relève du fantasme ?

JMJM : Alors l'intelligence artificielle effectivement a eu beaucoup de promesses, il y a eu beaucoup de de peur aussi qui vont avec les promesses et donc du coup effectivement comme vous dites il y a eu des fantasmes avec l'intelligence artificielle. Là aujourd'hui on le sait très bien l'IA qui va dominer la planète, c'est là on est peut-être de l'ordre du fantasme et ça c'est vrai. Mais par contre l'IA qui pose des biais, qui créent des gros incidents industriels on peut en parler un petit peu, ça c'est pas du fantasme, et ça il faut l'adresser.

FS : On va en parler. Mais la science-fiction nous a abreuvé d'histoires où la machine prenait le contrôle sur l'être humain, où on se faisait dépasser par nos créations, on n'y est pas encore ?

JMJM : Non on n'y est pas encore, non ça on est d'accord, on y est pas du tout, même s'il y a eu ces avancées là, on y est très loin.

FS : Alors l'intelligence artificielle elle se nourrit de ce qu'on lui donne finalement et comment est-ce qu'on s'assure qu'elle n'est pas biaisée volontairement ou involontairement?

JMJM : Effectivement, étant donné que l'intelligence artificielle se nourrit de ce qu'on donne et en fait ce qu'on donne c'est des données, si les données sont empreintes de biais, de rapports de pouvoir, d'inégalités qu'on peut avoir dans la société, ces choses-là non seulement elles vont être reproduites par l'IA, mais elles vont être aussi amplifiées.

FS : Et là elle va se nourrir d'elle-même ?

JMJM : Exactement, elle se nourrit d'elle-même. En fait les données qui sont elle-mêmes créées par l'IA peuvent être ré-engendrées, réutilisées dans les IAs, et en fait reproduire ces biais, les amplifier.

FS : Et justement, comment on s'assure que que ce n'est pas biaisé?

JMJM : Alors aujourd'hui il y a un certain nombre de méthodes qui marchent relativement bien. En fait c'est beaucoup dans la mesure : dans la mesure des biais, des tests qu'on peut implémenter, bien sûr avant la mise en production, que réside en fait toutes ces protections, la mise en place de tous ces garde-fous, pour s'assurer d'une IA responsable.

FS : Et comment on s'assure qu'elle n'est pas manipulée, il y a des enjeux colossaux en termes de de pouvoir politique, en termes de pouvoir tout court ?

JMJM : Effectivement, alors ça c'est un domaine de la recherche qui existe depuis un petit moment aujourd'hui, et qui essaye de savoir comment on peut attaquer les IAs. Donc il y a plusieurs manières de les attaquer : on peut les attaquer en amont, donc par exemple en changeant les données en entrée, en injectant des données qui sont fallacieuses pour ensuite, en aval, biaiser l'algorithme. Mais ça peut être d'une différente manière, ça peut être directement en changeant le code, et par des méthodes relativement classiques, connues de tous, qui est simplement d'infiltrer le code, de s'insérer dans un serveur, ce genre de choses ça c'est des choses qu'on connaît déjà.

FS : Et ça techniquement c'est pas impossible ?

JMJM : Techniquement, évidemment c'est pas impossible et d'où tout l'intérêt de créer les outils pour s'assurer de la protection.

FS : Vous l'avez mentionné, la nouvelle régulation européenne sur l'IA elle appliquera bientôt une amende de 6% du chiffre d'affaires mondial je crois en cas d'incident sur les algorithmes à haut risque. Est-ce que cette menace elle est suffisante pour que les acteurs de l'intelligence artificielle la prennent très au sérieux ?

JMJM : Alors c'est une très bonne question, parce que de mon point de vue, c'est pas suffisant : pourquoi ? Pour deux raisons : d'une part les IAs à risque, même si on en parle beaucoup, ça peut être les IAs médicales, les IAs qui vont mettre en place qui vont allouer des ressources qui sont critiques, ces IAs là sont à risque, effectivement il faut les réguler. Après il y a aussi un certain nombre d'IAs qui sont pas forcément à risque et qu'on connaît très bien, donc par exemple les IAs dans les systèmes de recommandation, qu'on peut voir dans les réseaux sociaux, Youtube, Facebook. Aujourd'hui on sait que ces IAs là peuvent être extrêmement dangereuses, parce qu'elles créent ce qu'on appelle des chambres d'écho.

FS : Elles sont déjà biaisées.

JMJM : Elles sont déjà très biaisées et en fait...

FS : Elles fonctionnent en fonction de ce qu'on attend mais aussi en fonction de ce que les annonceurs veulent nous faire voir.

JMJM : Oui alors ça peut être un biais aussi, les annonceurs, les logiques économiques qui vont influencer les IAs, et en fait on sait aujourd'hui les impacts que ça peut avoir sur ces IAs qui sont entre guillemets à non risques, on sait que les contenus haineux, la prolifération des contenus haineux, les contenus fallacieux,
les deep fakes par exemple, on a aussi la radicalisation, les atteintes à la démocratie, par exemple on sait que les IAs qui vont parler de politique vont quelquefois plutôt influencer un candidat plutôt qu'un autre, on l'a vu avec l'élection américaine, on a eu ce problème-là. Donc en fait ces IAs qui sont pas à risque, quand elles sont déployées vraiment à l'échelle, elles peuvent être à risque.

FS : Mais pourquoi est-ce que c'est difficile de trouver des solutions ?

JMJM : Alors ça c'est une super question. Disons que la réponse réside à mon avis déjà dans le développement de l'IA. L'IA c'est quand même une science qui est relativement jeune, en tout cas la science industrielle aujourd'hui elle est relativement jeune, et le développement c'est un peu le Far West en fait qu'on y pense. Alors en caricaturant aujourd'hui on demande à un Data scientist, à un ingénieur souvent sorti d'école, qui a à disposition une base de données, d'utiliser quelques outils Open Source, qu'il va essayer de mettre en place tout seul, souvent en silo et en fait souvent ces outils là qui sont mis en place vont créer des algorithmes où il y aura un véritable culte de la performance, en fait on va essayer vraiment d'optimiser une métrique de performance et en fait il se trouve que cette métrique de performance elle ne prend pas en compte des enjeux sociaux, des enjeux de robustesse, des enjeux de dérive, des enjeux de performance beaucoup plus fines, et en fait si on va encore plus loin ces IAs, elles peuvent être mises en production, et on va simplement monitorer à posteriori, c'est-à-dire une fois que tout est déjà lancé si les IAs marche ou pas. Alors évidemment, ce qui se passe c'est des catastrophes, on les connaît, il y a par exemple Zillow, une entreprise américaine qui a perdu un demi milliard d'euros en 2021 parce qu'il y a eu un enjeu de robustesse, en fait il y a eu un problème. Donc c'est un algorithme d'estimation des prix des maisons et là on sait que ça fait perdre 1 demi milliard d'euros. Après il y a des IAs beaucoup plus connues, par exemple dans les voitures autonomes, là il y a eu des enjeux humains, en fait des pertes humaines. On peut parler aussi des IAs, enfin tout ce qui est les enjeux éthiques des IAs, on a les problèmes autour des discriminations, donc par exemple un exemple connu c'est l'Apple Card, donc une carte de crédit d'Apple où on a le problème qu'on avait des décisions différentes entre les hommes et les femmes, et donc ça a créé une énorme controverse et voilà on les connaît les enjeux.

FS : On parlait tout à l'heure des menaces de sanctions européennes pour les entreprises, mais finalement est-ce que ça, la réalité du terrain, c'est pas une menace encore plus sérieuse ? Quand une entreprise a perdu un demi milliard, c'est dissuasif.

JMJM : Exactement et c'est là toute la question, parce qu'aujourd'hui cette régulation européenne si on va discuter un peu avec les praticiens de l'IA, elle fait un peu peur, elle suscite de la peur parce qu'on se dit : est-ce que ça va pas être une barrière à l'innovation, mais en fait...

FS : On dit toujours ça quand il y a une règlementation.

JMJM : Voilà, c'est ça. On dit toujours ça, mais comme vous le dites, en fait ces IAs, cette qualité de l'IA est complètement corrélée aux enjeux économiques de ces IAs, à cause des pertes, et donc non en fait, développer une IA responsable, c'est aussi s'assurer d'avoir un développement économique qui soit durable.

FS : On va parler de Giskard c'est ce que vous avez co-fondé, Giskard AI. Pourquoi Giskard ?

JMJM: Alors c'est une question qu'on nous pose souvent, et non ce n'est pas une référence au président, à l'ancien président de la République, c'est plutôt une référence au roman de science-fiction d'Asimov, où alors.

FS :Ça s'écrit avec un K, ça s'écrit pas tout à fait...

JMJM : C'est ça, ça s'écrit avec un K, et en fait on sait qu'il y a les lois de la robotique qui disent que le robot ne doit pas porter atteinte à l'être humain, doit obéir aux êtres humains, sous conditions évidemment que la première loi marche, et en fait on a cette loi Zéro, qui dit que le robot ne doit pas porter atteinte à l'humanité toute entière, et ça a été créé par un robot lui-même, qui s'appelle Giskard.

FS : Belle référence. Vous avez mis au point une plateforme d'assurance qualité pour les algorithmes d'intelligence artificielle, comment est-ce que vous y êtes pris ?

JMJM : Alors ça a été beaucoup de R&D, ça c'est vraiment le point de départ, pour plusieurs raisons, parce que nous l'idée de Giskard en fait, c'est de se dire, un peu comme on le ferait pour un antivirus classique, c'est de scanner les IAs tout simplement, et de trouver les vulnérabilités qu'il y a à l'intérieur des IAs. Dit comme ça, ça paraît simple, mais pour y arriver il faut faire des tests de l'IA. Donc c'est ce qu'il y a derrière en fait ces scans. Et tester l'IA, c'est quelque chose de compliqué. D'ailleurs il y a un domaine de recherche aujourd'hui qui s'appelle le ML Testing, qui cherche des méthodes justement pour tester les IAs. Donc c'était beaucoup d'investissement en R&D pour trouver les méthodes pour tester les IAs.

FS : Et cette plateforme de test, elle sert à qui ?

JMJM : Alors aujourd'hui, on a plusieurs utilisateurs, plusieurs clients donc ça va de Webedia, CGI, des grands clients mais ça peut être aussi des startups, beaucoup de startups, qui utilisent Giskard justement pour scanner leur IAs. Aujourd'hui donc on a vraiment les deux volets : les boîtes qui veulent vraiment s'occuper des questions éthiques, de gouvernance, de conformité à la nouvelle réglementation, et de l'autre côté des startups qui savent, que comme on l'a dit, une bonne IA c'est aussi une IA qui génère du revenu, donc qui investissent dans ces enjeux de qualité.

FS : Le business model ? Ce sont vos utilisateurs ?

JMJM : Alors le business model il est assez particulier dans Giskard, parce qu'on a choisi l'Open Source, pour une raison particulière qui est que les tests de l'IA, si vous voulez que ça marche, étant donné que c'est un domaine assez compliqué l'IA, il faut qu'on mobilise l'intelligence collective des différents praticiens...

FS : D'où l'open source.

JMJM : ... qui peuvent ingérer leurs connaissances du métier. Donc ça c'est l'open source et c'est vraiment le pari qu'on a fait et qui marche assez bien, parce qu'on a de la traction au niveau Open Source. Et après le business model derrière, il est relativement classique, c'est pour répondre aux contraintes opérationnelles des grands groupes, on va leur donner les bons services qui vont avec, avec un modèle à l'usage.

FS : De votre plateforme, de vos travaux, de votre analyse, quels conseils est-ce que vous en tirez pour développer l'IA ?

JMJM : Alors il y a beaucoup de conseils, on donne même des formations à ce niveau là, mais si j'en retiens qu'une seule, je dirais c'est l'inclusion. Alors pourquoi l'inclusion ? Parce qu'en fait le développement de l'IA, même si on parle d'intelligence artificielle, en fait derrière l'IA vous avez des êtres humains, vous avez des ingénieurs, vous avez des experts métiers, vous avez des experts données par exemple, et en fait qu'est-ce qu'il faut faire, c'est réussir à les faire travailler ensemble, permettre à chacun d'exprimer les exigences pour les bonnes IAs, et faire en sorte en fait de développer une IA qui soit raisonnée et durable.

FS : Et un deuxième conseil, après l'inclusion ?

JMJM : Je dirais, c'est le test en fait. On ne met pas une IA en production avant de tester, donc la qualité ça se pense en amont du développement de l'IA.

FS : Une dernière question pour reboucler, mais ce que vous avez l'impression aujourd'hui qu'on assiste à une évolution à une révolution peut-être aussi importante que l'apparition des robots, c'est à dire que l'IA c'est un peu le robot de l'esprit ? C'est le robot des professions intellectuelles en tout cas dans son application.

JMJM : Alors oui ça effectivement il y a eu beaucoup d'IA aujourd'hui qui alors, je vais pas dire remplace, mais en tout cas qui aide beaucoup certaines professions, notamment des professions où on a besoin de faire des tâches un peu répétitives, mais de là à dire qu'il y a une révolution, qui sont liées un peu à ces fantasmes...

FS : Ça c'est la machine à fantasme.

JMJM : Oui, là je pense que oui.

FS : Merci beaucoup.

Get Free Content

Download our guide and learn What the EU AI Act means for Generative AI Systems Providers.