Depuis environ un an, la société de Ron Curbs a travaillé sur un appareil de surveillance qui écoute le chat multijoueur en ligne et essaie de proposer un service d’assistance. jusqu’aux parents qui s’inquiètent du comportement en ligne de leurs enfants ou de leur sécurité. Curbs comprend qu’il essaie d’enfiler une petite aiguille: les parents ne trouveront pas sa solution, appelée Kidas, utile si elle les crie chaque fois que quelqu’un dit un mauvais mot. Donc en ce moment, il y a quelques faux positifs amusants.

Il y a quelques semaines, dit-il, un appareil Kidas dans une maison d’essai a suscité une conversation troublante parmi les adolescents. Pas de jure, mais des railleries et des menaces ont été échangées. Lorsque cela se produit, un analyste humain examine l’incident et détermine si les parents doivent être avertis.

«L’enfant jouait en fait Bully, » Curbs a ri. «Nous avons été essentiellement alertés d’une situation qui s’est produite dans le jeu lui-même.» Le joueur était sur le clavardage Xbox Live comme dans le jeu solo, et Kidas a confondu le dialogue du jeu pour une confrontation en ligne.

Voici le genre de ratés que vous êtes obligé de rencontrer lorsque vous construisez quelque chose d’aussi ambitieux que l’idée de Curbs: une solution qui contribue à assurer la sécurité et le bonheur des enfants en ligne, sans les toucher du doigt ni violer leur vie privée . Il a connu un succès suffisant, sur une version bêta serrée dans moins de 100 foyers Xbox, pour attirer l’intérêt et le soutien de grands incubateurs de startups, le dernier étant Lift Labs de NBCUniversal. (Divulgation: NBCUniversal est un investisseur important dans Vox Media, qui possède Polygon.)

Kidas, basée à Philadelphie, est une start-up de 10 personnes qui prend une cause que les plus gros joueurs ont embrassée dans des mesures plus modestes au cours de la dernière année. Electronic Arts, cet été, a introduit un nouvel ensemble de normes pour lui-même et ses joueurs, destiné à créer des communautés en ligne plus saines dans ses énormes jeux multijoueurs. La nouvelle PlayStation 5 dispose d’une fonctionnalité qui enregistre les dialogues de chat, pour aider les modérateurs à examiner les plaintes pour insultes verbales ou autres violations du code de conduite. Et il y a à peine une semaine, Microsoft, Sony et Nintendo ont cosigné un engagement visant à rendre les jeux vidéo plus sûrs, en particulier pour leurs jeunes joueurs.

La technologie de Kidas est principalement destinée à un parent, en particulier à un parent qui ne pense pas que les déclarations de ces entreprises sont suffisantes, et qui ne fait pas appel aux meilleurs anges de notre nature en ligne. Curbs a eu l’idée de Kidas après son service dans l’armée israélienne, où il a développé des solutions de détection des menaces pour l’unité centrale de renseignement du pays. À l’origine, a déclaré Curbs à Polygon, Kidas avait l’intention de surveiller le trafic des médias sociaux en général. Mais c’était tout simplement trop vaste à gérer.

«Nous avons décidé de passer des médias sociaux aux jeux, [where] les conversations vocales sont très difficiles à surveiller», a déclaré Curbs. «Sur la base de la technologie actuelle, nous savions, d’après notre expérience passée, que nous possédions les compétences techniques pour y parvenir. Nous avons décidé de cibler quelque chose que personne d’autre n’avait fait auparavant, de surveiller ces conversations vocales de manière très précise et d’alerter les parents sur ces cas. »

«Lorsque Ron est entré pour la première fois dans notre programme, Kidas ne se limitait pas au jeu», a déclaré Danielle Cohn, vice-présidente de Lift Labs. «C’était plus un produit général. Ce qu’il a découvert, c’est qu’il y avait un réel besoin dans le jeu. […] Parfois, lorsque vous créez un produit et votre startup, vous essayez d’en faire trop à la fois. Je pense que Ron est intelligent à ce sujet, là où il commence dans le jeu. Et s’il peut aller vraiment profondément dans le jeu, le perfectionner et le tester là-bas, alors il peut avoir une utilisation plus large. »

Lorsqu’on lui a demandé ce qui motive Kidas, Curbs a mentionné des concepts comme les réseaux de neurones et l’apprentissage automatique. De toute évidence, il faudrait s’appuyer sur un code très sophistiqué et en constante évolution pour faire la différence entre les enfants qui parlent innocemment de la poubelle et quelque chose qui amènerait certainement un parent dans la pièce – menaces de violence, langage dégradant ou sollicitations d’un prédateur.

Surtout, il n’a pas l’intention que l’appareil soit une nounou à installer et à oublier dans la salle de jeux. Kidas en tant que produit suppose qu’un parent impliqué a des conversations avec son enfant. Et Kidas lui-même leur offre bien plus qu’un journal de discussion de mots clés déclenchant leurs capteurs. « Nous n’allons pas alerter les parents chaque fois que quelqu’un enflamme quelqu’un d’autre dans une conversation », a déclaré Curbs. «Nous allons alerter les parents des brimades répétées et des cas dans lesquels leur enfant est même ciblé dans l’intimidation, et [if it’s] l’affectant psychologiquement, et même en changeant leur estime à cause de cela.»

Curbs ne dirait pas combien de ménages participent à la version bêta de Kidas (seulement qu’ils ont une longue liste d’attente). Mais la taille ne peut pas être grande étant donné la profondeur de l’interaction sur laquelle Kidas s’appuie pour façonner ses alertes et ses avis, afin que les parents obtiennent des informations réellement utiles. Cohn, pour la part de Lift Labs, voit Kidas atteindre déjà cet objectif. «Ce qui m’a le plus impressionné, ce sont les commentaires qu’il a reçus de certains des parents qui ont essayé cela», dit-elle. «Il n’en est qu’à ses débuts, mais c’est certainement un espace passionnant qui apportera également une certaine tranquillité d’esprit.»

Kidas a actuellement quelques limitations évidentes – il ne fonctionne qu’avec une Xbox One ou Xbox Series X, pour commencer. La solution de clé électronique, même si elle est construite avec du matériel standard, est également nécessaire car Curbs et Kidas n’ont pas accès à l’environnement fermé du réseau Xbox Live de Microsoft. Idéalement, dit-il, un jour ils le feront, et Kidas sera un logiciel qui fonctionnera sur la console elle-même.

Tout aussi important, dit Curbs, est de présenter Kidas comme un assistant, et non comme quelque chose dont la présence indique au parent ou à l’enfant que le jeu vidéo est, à première vue, une chose mauvaise ou dangereuse.

«Notre objectif n’est pas de dire à [parents]:« OK, il ne devrait plus jouer à la Xbox, ou il ne devrait plus jouer à PlayStation », a déclaré Curbs, lui-même fan de jeux vidéo. «Notre objectif est de leur fournir des outils pour parler de ce sujet avec leur enfant, le faire comprendre. «Quelles sont les bonnes tactiques pour traiter avec ces gens?»