Concept Audio Bridge : Inspirant le son bidirectionnel et les workflows IA

Le concept "Audio Bridge" de Veera Pendyala, prouvé par des expériences pratiques, a suscité des idées avant-gardistes pour l'audio bidirectionnel et l'IA alimentée par Jetson sur le Mini-KVM. En tant qu'ingénieur logiciel senior chez NVIDIA avec plus de 15 ans d'expérience en ingénierie logicielle, Veera a exploré une vision : apporter l'audio hôte ↔ cible, l'IA conversationnelle et les workflows d'automatisation domestique dans le KVM USB.

Veera Pendyala a apporté une idée avant-gardiste au Défi USB-KVM DIY 2024. Son concept pour permettre l'audio bidirectionnel avec l'Openterface Mini-KVM vise à améliorer le contrôle à distance et les applications alimentées par l'IA, en particulier pour les ordinateurs monocartes comme le Jetson Nano. Les expériences de Veera avec les dongles audio USB et son interview ont suscité des discussions inspirantes sur le potentiel du pontage audio dans l'automatisation domestique et les workflows d'IA conversationnelle.

Le défi

• Son unidirectionnel L'HDMI du Mini-KVM diffuse uniquement l'audio cible → hôte, aucun chemin pour que le micro hôte atteigne l'appareil distant

• Objectif zéro-infrastructure Toute solution doit fonctionner sans internet, alimentation externe ou extras volumineux

• Cas d'usage IA et automatisation Veera envisage la parole en direct vers un appareil headless pour l'IA conversationnelle, l'assistance à distance et les scénarios de surveillance domestique

Architecture de pont proposée

1. Adaptateurs audio USB doubles

   • Le dongle côté hôte capture le micro/audio local
   • Le dongle côté cible injecte cet audio dans la prise micro de la machine distante

2. Jetson Nano comme routeur audio

   • Exécute ALSA/PulseAudio pour mapper entre les deux dongles
   • Héberge OpenterfaceQT pour le contrôle KVM et l'inférence IA potentielle

3. Mini-KVM pour vidéo et contrôle

   • L'HDMI transporte la vidéo et l'audio cible vers l'hôte
   • Un seul lien USB gère le clavier/souris et les (futurs) canaux audio
4. Mappage des canaux logiciels
   • Propose d'étendre OpenterfaceQT pour exposer plusieurs interfaces USB
   • Toggle UI pour activer le routage micro hôte → cible parallèlement aux flux KVM

Impact et communauté

Les expériences de Veera mettent en évidence l'étendue des cas d'usage en attente d'être débloqués en ajoutant l'audio à l'écosystème Mini-KVM. Ses concepts s'alignent étroitement avec notre feuille de route pour les workflows alimentés par l'IA, l'automatisation domestique et des expériences IT distantes plus riches.

Remerciements spéciaux à Veera Pendyala pour avoir partagé sa vision et inspiré notre prochaine génération de fonctionnalités Mini-KVM. Apprenez-en plus et explorez d'autres entrées sur la page du Défi USB-KVM DIY 2024 :

• Défi Crowd Supply

Plongez dans notre discussion de streaming YouTube, Crowd Supply Teardown avec Helen Leigh, Billy R.B. Wang et Kevin Peng, pour en apprendre plus sur l'Openterface Mini-KVM et les brillantes idées du Concours : https://youtu.be/Tp4f_uxEo6E