L’intelligence artificielle va-t-elle dissiper le brouillard de la guerre ?

Université de Paris I – Panthéon – Sorbonne, Paris, 1er Avril

Eve Gani
Directrice de l’Innovation, Défense et Sécurité, Sopra Steria

Mohammed Sijelmassi
Digital Transformation Officer, Sopra Steria

Hommage au Professeur Lucien Sfez, mort en janvier 2019, initiateur du DEA de Sciences Politiques, mention Communication, Technologies, Pouvoir:

« Un des grands mérites de Lucien Sfez a été de proposer une des premières analyses globales des recompositions idéologiques à la fin du XXe siècle, après la ruine des « grands récits ». A l’opposé de ceux qui s’étaient habitués à la « fin des idéologies » ou à l’entrée dans la « postmodernité », Lucien Sfez voyait se profiler un nouvel agencement du savoir et du pouvoir autour de la religion de la communication et des utopies technologiques. »
(Guillaume Musso, Le Monde)

Nous nous trouvons dans un amphithéâtre dont la toile de fond, qui prend la forme du péché originel, ne peut que nous interpeller, alors que nous nous demandons, nous européens, si l’intelligence artificielle peut dissiper le brouillard de la guerre. Voilà en effet ce qui nous marque, ce qui nous distingue, nous européens : cette culpabilité judéo-chrétienne, devenue suspicion, "principe de précaution", assortie à la notion de connaissance et de consommation. Combien d’articles et de position, jusqu'au au Parlement européen, pour dénoncer nos velléités à rechercher "l'arme autonome" …. Oui, cette suspicion nous caractérise, là où d’autres puissances s’affranchissent de ces questionnements : mais appelons-là positivement la conscience, la conscience européenne.

Mais une fois cette conscience européenne érigée en principes et traduite en éthique et en lois, quel usage faire des technologies alors que d’autres civilisations portent de véritables ambitions dans le domaine de l’IA, notamment les Etats-Unis et la Chine transhumaniste?

Prenons l’exemple d’usagers particuliers des technologies, les militaires, qui disposent de besoins résultant de la transformation des conflits modernes. L’un des obstacles à la victoire des armées est ce que le général Carl von Clausewitz appelait « le brouillard de guerre », un terme utilisé pour décrire l'absence ou le flou des informations pour des participants à des opérations militaires. Le terme se rapporte à l'incertitude des protagonistes quant à leur propre capacité, les capacités des adversaires, la position des forces et ses objectifs :

« La grande incertitude [liée au manque] d'informations en période de guerre est d'une difficulté particulière parce que toutes les actions doivent dans une certaine mesure être planifiée avec une légère zone d'ombre qui (…) comme l'effet d'un brouillard ou d'un clair de lune, donne aux choses des dimensions exagérées ou non naturelles »

Carl von Clausewitz, De la guerre2

Mais aujourd’hui, est-ce vraiment le manque d’information ou au contraire l’info-obésité qui fait problème ?. Quel que soit son échelon, qu’importe son grade, du commandement des opérations au soldat sur le terrain, il semble qu’une vague d’information épaissie le brouillard de la guerre. L’homme n’est plus capable de traiter la masse d’information générée par des capteurs toujours plus nombreux et plus performants. Face à ce volume inédit d’informations numérisées, la capacité des état majors à jouer leur fonction de fédérateur de l’information s’en trouve affaiblie.

L’intelligence artificielle ne pourrait-elle pas aider à mieux analyser, exploiter, maîtriser et protéger une somme toujours plus importante de donnée ?

Face aux peurs…

Mais pour tenter l’implémentation de ces technologies, il faut au préalable faire face à des peurs induites par l’Intelligence Artificielle qui existent aussi dans l’armée. Il existe une peur qu’une « Intelligence Artificielle » puisse faire la guerre à notre place, ce qui pose derrière la question de l’utilité du militaire. Et si nous perdons notre valeur militaire, le système ne va-t- il pas cesser de nous accorder de la valeur? N’est-ce pas la première étape vers la perte de nos droits politiques ? L’Intelligence artificielle favoriserait-elle l’émergence d’un système censitaire ?
Mohammed Sijelmassi, allons-nous demain devenir des sujets de l’Intelligence Artificielle qui combattra à notre place ? Ou de quelques-uns, comme toi, qui maitrisent cette technique et disposent d’une forte intelligence conceptuelle?

Mohammed Sijelmassi :

Pour moi, le maitre mot c’est la collaboration.
Je ne crois pas en la théorie du grand remplacement, l’IA agissant en lieu et place de l’homme, je crois profondément à la collaboration à l’augmentation des capacités humaines, à l’utilisation de la technologie pour aider à prendre une décision et je ne pense pas qu’il faille attendre 20 ans pour en arriver là.
Dans ce domaine demain a commencé hier. Il y a quelques semaines, une IA a obtenu de meilleurs résultats dans la détection de glaucome que de très bons médecins. Tout ça grâce à la capacité à analyser des images, la corrélation avec des millions de cas similaire. Il n’en demeure pas moins que la décision d’opérer, le choix entre plusieurs solutions reste l’apanage du médecin.

L’IA au bénéfice de la défense occidentale

Et dans le domaine de la Défense ? L’IGA Jérôme Lemaire chargé de mission à la DGA, a insisté lors de la précédente séance sur le fantasme de rapidité dans la transformation des usages. Où on est-on ?

Mohammed Sijelmassi:
D’abord, je voudrai insister sur le fait que l’intelligence artificielle au bénéfice des armées ne se réduit pas au robot tueur.

On l’a dit, le champ de bataille se complexifie avec l’intégration du numérique et des guerres menées en coalition: le risque de désorganisation s’est accru. Il est désormais complexe d’associer les données nécessaires pour combiner les effets à atteindre et l’état final recherché.

L’automatisation du traitement des données et la croissance de la puissance de calcul permettront d’innerver les forces et leurs effecteurs du plus haut de la chaine de commandement jusqu’au plus bas échelon pour répondre aux besoins tactiques d’immédiateté et de précision.

Ainsi l’ambition de l’IA au bénéfice des armées peut être :

d’augmenter les capacités de planification, de conduite et de commandement et de renseignement des armées à travers notamment d’un accroissement de la capacité de C2 & Renseignement s’appuyant sur des données internes et externes plus conséquentes et plus globales (interarmées, interalliées, diplomatiques, industrielles, etc.)
d’améliorer la conception, la mise en œuvre et la protection des réseaux et systèmes d’informations grace à une analyse des connexions sur les applications du ministère, pour identifier d’éventuels cas de fraude interne ou d’attaques malveillantes (cybersécurité).
d’optimiser la fonction soutien, et plus particulièrement le reporting et suivi des capacités opérationnelles, à travers notamment le suivi en temps réel de l’état de santé des équipements, ou la mise à disposition d’outils d’aide au diagnostic des défaillances.,
de transformer la politique RH du ministère grâce à une meilleure planification des ressources humaines en relation avec les armées et les services (besoins en recrutement, gestion des compétences, anticipation des désistements…).
de mieux répondre aux missions de santé des Armées grâce à un suivi plus efficace des données sociodémographiques et médico-administratives des personnels à partir de bases de données de plus en plus hétérogènes. On pourrait diagnostiquer plus rapidement les risques sanitaires auxquels les personnels sont confrontés (risque bactériologique, risque radiologique…) et une meilleure pharmacovigilance vis-à-vis de traitements spécifiques aux armées (lutte contre la fatigue, traitement contre les maladies tropicales, etc.).
d’optimiser l’articulation technico-opérationnelle du ministère grâce à un reporting en temps réel sur les capacités opérationnelles des armées (à la fois en termes d’équipements, d’effectifs, de compétences, etc.) ou par la prédiction en matière de maintenance et l’optimisation technique et économique des plans de MCO.

D’ailleurs le programme lancé par la DGA qui développe ces sujets et auxquels nous répondons par des cas d’usage existe et il s’appelle Artemis, Sopra Steria y répond conjointement avec Thalès au sein d’un consortium.

Revenons sur la réalité des guerres contemporaines menées par le camp occidental et, notamment les guerres irrégulières. Un des grands spécialistes des guerres irrégulières français, Gérard Chaliand, auteur d’un ouvrage clé qui a reçu le Prix Foch de l’académie française (« Pourquoi perd-on les guerres ? Un nouvel art occidental ») me rappelait que le camp occidental les perd souvent, ces guerres irrégulières, du Vietnam à l’Irak.

Tu as mentionné le rôle du renseignement. La connaissance précise du terrain et de son histoire dans sa profondeur sociale est en effet irremplaçable.
L'américain MacNamara a reconnu des années après la guerre du Vietnam qu’il ne connaissait pas le Vietnam pourtant il existait des spécialistes à époque comme Bernard Fall.
Alors pourquoi un décideur écoutera mieux un IA qu’il n'a écouté dans le passé un spécialiste du terrain ?

Selon moi, le décideur écoutera d’avantage une IA du fait de son objectivité. La solution proposée est obtenue à partir d’un jeu de donnée structuré et non structuré qui sera reconnue comme « proposée par la machine »
Mais pour cela, j’insiste sur l’importance de l’explicabilité de la solution proposée et du dialogue homme-machine. On a un effort considérable à faire sur ces deux domaines avec pour ce qui est du dialogue homme machine une véritable amélioration du traitement du langage naturel et des arbres de décision multifactoriels et non binaires.

Le rôle de l’Entreprise de Service Numérique : entre technologie et usages

Nous avons entendu les interventions de constructeurs, notamment Thalès et Naval Group et de la DGA. Quel est le rôle d’une Entreprise de Service Numérique dans la chaine de valorisation des technologies?

Le rôle d’une ESN est de contribuer à la transformation digitale dans tous types de secteurs d’activité, ça peut être concrètement d’améliorer les outils de Pole Emploi pour que les emplois soient mieux pourvus aux simulations pour la conduite arienne, ou bien la digitalisation des billets de train, pour rester très concret.

Autrement dit, l’ESN a cette particularité d’incorporer les tendances technologiques numériques les plus novatrices et d’être au centre d’un écosystème de montée en valeur. Le numérique d’hier, c’était de la bureautique, des applications informatiques. Le numérique de demain comme l’a dit la semaine dernière David Sadek, le VP Recherche et Innovation de Thalès, c’est du « numérique smartisé » auquel a été ajouté la valorisation des données. L’IA

ce n’est pas une mode, mais plutôt un standard qui permet cette valorisation des données par l’emploi de techniques issues de modélisations mathématiques et de données.

L’ESN se retrouve donc dans un rôle d’opérateur de confiance et effectue l’acculturation sociétale à la technique. Notre activité principale porte principalement sur les usages des technologies, leur compréhension par les usagers et nous engageons leur contribution pour la définition des usages dans des pratiques que notre jargon appelle le « co-design ». Notre mission est donc hautement technologique, mais aussi celle de passeur, de transmetteur. Ce que nous mettons au cœur de notre activité, c’est donc la pédagogie et l’implication avec une méthodologie de l’innovation.

Pour cela, nous plaidons notamment pour une rencontre entre sciences humaines et sciences dures au travers d’ateliers exploratoires. En effet, la manière dont les usagers comprennent la technique et l’interface que nous leur proposons auront des conséquences sur les usages qu’il faut bien mesurer.

Au niveau de la R/D, nous en faisons pour tester la validité des modèles et des jeux de données et participons de part notre rôle dans la mise à l’échelle des innovations technologiques aux échanges stratégiques pour la politique d’Innovation –notamment au niveau national, pour l’IA,- discussions avec les ministères concernés que sont notamment le Ministère de l’Enseignement Supérieur, Innovation et Recherche, le Ministère des Armées mais aussi le Conseil de l’Innovation ou le CEA qui adressent des sujets fondamentaux comme la fiabilité de l’IA.

Les limites technologiques de l’IA

Justement, sur le plan théorique, David Sadek a aussi posé la question de l’existence d’un plafond de verre de l’IA. L’IA n’est-elle pas encore très imparfaite ? Ne pourrait-elle pas nous induire en erreur?

En fait, je préfère le terme une IA à l’IA. A ce jour, nous ne savons faire que des IA qui adressent des sujets spécifiques, elle joue au jeu de go ou elle détecte un glaucome mais pas les deux. A l’inverse, un médecin pourrait faire les deux.
Pour en revenir à ta question, le Parfait n’étant pas de ce monde, il n’y a aucune raison que l’IA soit parfaite. Ses recommandations sont bien sûr à « challenger » et le premier plafond de verre que nous rencontrons est l’explicabilité des modèles.

Bien sûr, elles s’améliorent au fil du temps avec de l’apprentissage, mais le degré de fiabilité d’une recommandation est un élément clé du modèle. Si une IA d’Amazon me recommande un ouvrage avec une fiabilité de 70%, c’est acceptable, alors qu’une IA qui autorise le décollage d’un avion avec une fiabilité de 90% ne l’est absolument pas.
Une IA est une aide pas une vérité.

Quels sont alors les moyens qui nous permettraient de renforcer la fiabilité de l’IA ?
Comme toute technologie, l’IA apporte son propre lot de vulnérabilités et on peut essayer de la tromper. Prenons par exemple une IA qui analyse des images et détecte des armes, disons

un lance-roquette. Si je connais les critères qui font qu’elle analyse une image comme une arme, je peux tenter de la tromper en injectant des éléments d’images invisibles à l’œil nu, des pixels, et qui induisent en erreur.
Ces nouvelles vulnérabilités sont les combats de demain. Demain, je détecte vos failles et je m’y engouffre. Il est donc important associer cyber sécurité embarquée dès la conception et ne pas la voir comme un contrôle a posteriori….
Nous travaillons la-dessous à la fois en répondant à la question de ce qu’est-un un jeu de données fiables et par des expérimentations à partir de systèmes d’IA antagonistes qui combatteront les ingérences.

Si l’IA est l’outil qui nous permet de prendre des décisions et que nous avons tous accès à cette technologie, la guerre ne devient-elle pas un jeu à somme nulle ? Combat d’IA contre IA plutôt que d’homme à homme !

Je constate d’abord que cette question n’est jamais posée pour le combat d’avion à avion ou de char à char, pourtant la question est la même.
Pour simplifier, une IA analyse des situations et fait des recommandations basées sur un apprentissage. Qu’est ce qui fait que lors de l’apprentissage nous considérons que tirer sur un enfant même s’il présente un caractère dangereux n’est pas une solution, que les recommandations qui protègent la vie humaine sont la priorité, est un choix éthique, un choix de valeurs. Et je ne suis pas sûr que l’EI ou n’importe quelle organisation terroriste aient les mêmes que les nôtres….
Tout dépend de l’éthique et des valeurs qu’on enseigne à l’IA.

Le champ de la guerre contemporaine : Souveraineté, guerre irrégulière, hybridité

Mais tous ces outils ne sont-ils pas conçus par des puissances étrangères ? Donc quels sont réellement nos moyens de vérification de ces technologies, la fameuse « auditabilité de l’IA » que mentionnait le député Cédric Villani dans son rapport?
Nombreux sont ceux qui dénoncent notre naïveté à ce sujet, Laurent Alexandre par exemple :
« En 2020, notre colonisation technologique par les géants de l’IA est silencieuse. L’opinion ne croit pas à cette guerre qu’elle ne voit pas. L’Europe fait preuve d’une grand naïveté face aux ogres technologiques et elle est sidérée par la violence du combat technologique qui s’est engagé entre la Chine et les Etats-Unis, marginalisant du même coup les autres continents. Nous habillons notre impuissance en sagesse, parlons de prudence pour expliquer notre incapacité à agir ». (Laurent Alexandre, l’Intelligence Artificielle va-t-elle aussi tuer la démocratie ? …)

Aujourd’hui, les technologies employées viennent majoritairement des Etats-Unis. Nous sommes dans ce moment historique de dysphorie entre brouillard politique des européens et ambitions internationales affichées étrangères qui nous plongent dans un risque de dépendance numérique. Le risque semble moins le brouillard de la guerre, que le brouillard de ce qui nous permet de maintenir dans la durée notre l’indépendance…

Qu’est-ce qui nous permettra, au vue des moyens respectifs, de restaurer notre souveraineté numérique ? Quel est le rôle de l’Etat planificateur, de la politique industrielle pour maintenir ces critères de souveraineté ?
C’est une question importante car au-delà de l’efficience opérationnelle, l’enjeu est stratégique car seules les nations maîtrisant ces technologies compteront militairement.

Donald Trump a effectivement mis en place en février un plan faisant de l’IA une priorité nationale.
La mise en place d’une infrastructure complète d’IA est également en cours. En janvier 2018, l’agence de presse Xinhua a annoncé la construction à Pékin d’un gigantesque campus d’IA qui pourra accueillir jusqu’à 400 entreprises. Les sociétés chinoises d’IA continuent de se développer à l’international. Baidu a annoncé en 2017 l’ouverture de son deuxième institut de recherche dans la Silicon Valley, tandis que Tencent a fait part de la création d’un nouveau centre d’IA à Seattle.

Mais je voudrai insister sur la différence entre une entreprise américaine comme Google où les salariés peuvent démissionner pour refuser certaines applications des technologiques et le système politique chinois avec une planification et un dirigisme d’Etat. Nous sommes plus proches des Etats-Unis en terme de valeurs politiques.

Ensuite la France doit et est entrain de redevenir planificateur dans le domaine mais notre volume ne suffira pas. Nous restons une petite nation démographique et devons-nous allions avec les européens avec le nerf de la guerre, des financements pour construire ce capitalisme cognitif. Peut-être qu’au niveau de la défense, le Fonds Européen de Défense sera le bon véhicule pour cela ?

Sur le terrain géopolitique, la tendance est également à l’hybridation du champ de bataille : en période dite de paix, des puissances ennemies viennent perturber nos jeux électoraux. A l’approche des élections européennes, une logique préventive nous amène à nous protéger de l'ingérence étrangère. Que peut l’IA pour lutter contre cette ingérence cyber et cognitive notamment les fake news?

Il est juste que la désinformation et la propagande est une modalité de la guerre qui n’est pas ancienne mais qui prend des formes nouvelles et automatisée grâce à internet. Les définitions sur ce que sont les fake news sont sujets à débat. Généralement, on définit des fausses informations comme des informations fausses délibérément et souvent diffusé de manière secrète ou par des canaux jugés illégitimes. Ce sont aussi des rumeurs qui ont pour objectif d’influencer l’opinion publique pour obscurcir la vérité. C’est une information qui peut être complètement disséminée.

Nous pouvons travailler sur ce thème en étudiants des composants sémantiques, l’émotion, la syntaxe et la ponctuation, l’extraversion et l’acceptabilité…. Les parcours et la volumétrie de diffusion.

Mais notons que ce qui fait contre, peut-être fait pour : prenons l’exemple des tweets de Donald Trump qui sont ensuite « expliqués » et « commentés » automatiquement pour enrichir leur impact sur internet..

Enfin, il me semble que le plus important reste l’esprit critique.

Justement, face à l’omniprésence de ces nouveaux risques, l’ambition ne peut-elle pas être une nouvelle forme de résilience et surtout d’esprit critique? Quelle forme doit prendre cet esprit critique? Doit-on tous maîtriser la science des algorithmes pour en disposer ?

Non selon moi il n’est pas utile de nouvelle connaissance nécessaire pour faire fonctionner l’esprit critique cher à Descartes. Des personnes innervées aux sciences humaines et qui se prémunissent du conseil des flatteurs, qu’ils soient humains ou algorithmiques…. Il faut rechercher des individus capables de refuser l’arbitraire.

Prenons l’exemple de la justice prédictive. Il est évident qu’un individu ayant grandi dans certains quartiers aura plus d’amis condamnés en justice, moins d’argent etc : est-ce le fondement de la récidive ?

Alors livrons à l’exercice de cet esprit critique pour deux types de conflits.

D’abord sur la guerre traditionnelle Si l’intelligence artificielle reste finalement culturelle, basée sur des biais cognitifs majoritaires, ne va-t-elle pas reproduire nos erreurs d’analyse, mais à plus grande échelle ? Par exemple. Fin des années 30, nous avions estimé que la priorité était de sécuriser la ligne Maginot pour faire face à la menace allemande mais l’apparition des blindés a en fait changé complètement la donne…. Pourquoi l’IA n’aurait pas eu la même appréciation de la situation puisque nous l’aurions programmé ? La vrai disruptivité ce n’est pas le général de Gaulle ?

Mais pour une fois, je n’aurai pas la même appréciation que toi. Nous disposons à ce jour de techniques – deep learning ou reinforcement learning, qui apprennent de situations que l’esprit humain peut difficilement imaginer. Souviens-toi du jeu de Go, Deepmind, bat le meilleur joueur du monde en jouant des coups que personne n’avait tenté auparavant mais qui deviennent des standards aujourd’hui.

Ensuite sur la guerre irrégulière. Tu penses donc que l’IA pourrait prévoir l’effet de surprise, qui est au fondement de la réussite d’une opération de guerre irrégulière?

Qu’est-ce que finalement l’effet de surprise ? C’est une possibilité avec une probabilité plus rare que l’esprit humain a choisi de pondérer à zero du fait de ses biais cognitifs.
L’IA ne fera pas ça, elle présentera de manière objective ces probabilités, fussent-elles minimes ;

En conclusion, le brouillard de la guerre se dissipera-t-il grâce à l’Intelligence artificielle? Selon moi, à moyen terme, l’IA peut y participer, si ces objectifs sont atteints :

Promouvoir la collaboration intelligence humaine / intelligence machine à partir d’une explicabilité des systèmes à base d’IA
Développer un nouvel esprit critique
Maîtriser la souveraineté et soutenir la coopération européenne pour faire face à la compétition internationale

Mais surtout en oubliant pas la leçon de Clausewitz.
Comment gagner la guerre ? Non pas en dissipant le brouillard de la guerre: mais en imposant sa volonté aux autres et la capacité à comprendre l’adversaire est un moyen pour atteindre cela.

« La guerre est un acte de violence dont l’objectif est de contraindre
l’adversaire à exécuter notre volonté » Carl Von Clausewitz.

Permanence du tragique de la guerre, avec ou sans IA, que notre population occidentale, à l’heure de l’utopie de la santé parfaite et d’un manque de dynamisme démographique, a du mal accepter….