Comment j’ai connecté mon agent IA à mes appels téléphoniques

Google le fait déjà depuis longtemps dans ses réunions : depuis août 2024, Gemini prend des notes dans Google Meet et envoie un résumé à la fin de chaque visio. Plus de deux ans, c’est une éternité à notre époque. Je me suis donc demandé un matin : comment connecter une IA à mes appels professionnels ?

Le téléphone, angle mort des agents IA

On parle beaucoup d’agents IA, des agents qui peuvent traiter nos mails, nos messages WhatsApp. Mais quand une grande partie de notre activité se fait par téléphone ? Quand nos clients et nos partenaires n’envoient pas, ou peu, d’emails ?

Il n’y a rien de pire que la frustration d’avoir un traitement à moitié automatisé, sans cohérence ni interconnexion. Les emails sont rangés, classés, suivis. Et le rendez-vous fixé au téléphone, la facture qu’un client vous a demandé de renvoyer, le devis promis pour demain ? Ils dépendent de votre mémoire, ou d’un post-it. C’était une grande frustration pour moi.

Comment j’ai connecté mon téléphone

Pour moi, c’est un cas un peu particulier. J’ai une ligne perso, que seuls les membres de ma famille peuvent appeler. Et une ligne pro avec Onoff Business.

Onoff Business est un opérateur téléphonique français pensé pour les professionnels. Il fournit un numéro professionnel qui fonctionne sur votre smartphone habituel, à travers une application, sans seconde carte SIM ni second téléphone. Appels, SMS, messagerie vocale, tout passe par ce numéro, séparé de votre ligne personnelle.

Mon intégration était donc déjà simplifiée par Onoff Business. Mais elle est à la portée de tous, si vous acceptez de changer d’opérateur. D’autres solutions de téléphonie professionnelle, comme Aircall ou Ringover, proposent le même type de fonctionnement.

Ce que permettent ces opérateurs, c’est de connecter un webhook : une adresse sur votre serveur, appelée automatiquement après chaque appel, et à chaque SMS reçu ou envoyé. Le webhook reçoit les informations de l’appel, qui appelait, combien de temps, et l’enregistrement de la conversation.

Sans un opérateur de ce type, l’intégration est plus complexe, mais possible également : renvoi vers un numéro virtuel, enregistrement depuis le smartphone puis envoi automatique du fichier, par exemple. C’est moins élégant, mais le reste de la chaîne est identique.

L’analyse : de la voix au texte, du texte aux actions

J’ai codé, sur un serveur VPS toujours actif, le script qui est appelé par le webhook. À chaque appel, il réalise une transcription de la conversation avec Whisper. Whisper est un modèle de reconnaissance vocale open source, publié par OpenAI, qui tourne directement sur le serveur : la transcription est gratuite, et l’audio ne part chez aucun prestataire.

Cette transcription est ensuite envoyée à mon agent IA, un Hermes amélioré. Hermes Agent est un agent IA open source, développé par Nous Research. Il tourne en continu sur votre propre serveur, garde la mémoire de vos échanges d’une session à l’autre, et apprend de nouvelles compétences au fil des tâches qu’il réalise. Il peut s’appuyer sur différents modèles d’IA : pour analyser mes conversations, j’utilise un modèle de Claude.

Mon Hermes est également connecté à mon CRM, à mon système de gestion de projet, à mon logiciel de facturation, à mon agenda et à mes mails, entre autres. C’est ce qui change tout : il ne se contente pas de résumer l’appel, il le replace dans son contexte. Il sait qui est ce client, quels projets sont en cours avec lui, quelles factures sont en attente, et ce que nous nous sommes dit la dernière fois.

Ce que mon agent fait après chaque appel

Hermes croise les données avec tous ces systèmes, met à jour la fiche du client dans le CRM et déduit les actions à réaliser.

• Un rendez-vous : si je dis dans la conversation « OK, je note que l’on se voit lundi à 9 h », il ajoute le rendez-vous à mon agenda. S’il a détecté le sujet du rendez-vous, il lance un sous-agent qui me prépare une note sur le sujet.
• Une facture : si le client me demande de lui renvoyer une facture, il la retrouve dans mon logiciel de facturation et la lui renvoie.
• Une promesse : si je m’engage à envoyer un devis demain, il crée la tâche dans mon outil de gestion de projet et me la rappelle le moment venu.
• Une trace : chaque appel laisse un résumé dans la fiche du client, avec les décisions prises et les actions qui en découlent.

Le tout avec un suivi précis de chaque action : ce qui a été détecté, ce qui a été proposé, ce qui a été fait.

Des garde-fous, évidemment

Une action n’est réalisée qu’après validation. Hermes m’envoie un message sur mon téléphone :

« J’ai détecté que, dans ta conversation avec Benoît, vous avez évoqué un rendez-vous. Je l’ajoute à ton agenda et je lance un sous-agent pour préparer le rendez-vous ? »

Je réponds oui, non, ou je corrige. Rien ne part chez un client sans mon accord.

Autre garde-fou indispensable : vos interlocuteurs doivent savoir que l’appel est enregistré. Un message d’accueil ou une simple mention en début d’appel suffit. Et les enregistrements comme les transcriptions sont conservés sur mon serveur, pour une durée limitée.

Ce que ça coûte

• un serveur VPS : quelques euros par mois ;
• Whisper et Hermes : gratuits et open source ;
• l’analyse par Claude : quelques centimes par appel ;
• l’abonnement à un opérateur qui propose les webhooks.

Le plus gros investissement, c’est le temps de mise en place : connecter chaque outil, écrire les règles, ajuster les garde-fous.

Et chez vous ?

Chaque activité est différente : votre opérateur, votre CRM, votre logiciel de facturation, la façon dont vous travaillez avec vos clients. Le principe, lui, reste le même : ce qui se dit au téléphone ne doit plus se perdre. Un exemple de ce que cela donne est présenté ici.

Vous voulez savoir ce qui est possible chez vous ? Demandez votre audit gratuit : un appel de 15 à 30 minutes pour faire le tour de votre installation.

Sources

• Prise de notes de Gemini dans Google Meet : Google Workspace Updates
• Webhooks Onoff Business : documentation Onoff
• Whisper : OpenAI
• Hermes Agent : Nous Research