در محیط های پیچیده ، انسان ها می توانند معنای گفتار را بهتر از هوش مصنوعی درک کنند ، زیرا ما نه تنها از گوش های خود بلکه از چشمان خود استفاده می کنیم.
به عنوان مثال ، ما می بینیم که دهان کسی در حال حرکت است و ممکن است به طور شهودی بداند که صدایی که می شنویم باید از آن شخص بیاید.
Meta AI در حال کار بر روی یک سیستم گفتگوی جدید AI است ، یعنی آموزش هوش مصنوعی همچنین یاد می گیرد که همبستگی های ظریف بین آنچه می بیند و در یک مکالمه می شنود ، بشناسد.
VisualVoice به روشی مشابه با نحوه یادگیری انسان برای تسلط بر مهارت های جدید ، امکان جداسازی گفتار صوتی و تصویری را با یادگیری نشانه های بصری و شنوایی از فیلم های بدون برچسب می آموزد.
برای دستگاه ها ، این درک بهتری ایجاد می کند ، در حالی که درک انسان بهبود می یابد.
تصور کنید که می توانید در جلسات گروهی در متاور با همکاران از سراسر جهان شرکت کنید و به جلسات گروهی کوچکتر بپیوندید که در فضای مجازی حرکت می کنند ، که در طی آن صدا و سیما در صحنه مطابق با محیط تنظیم می شود.
یعنی می تواند همزمان اطلاعات صوتی ، تصویری و متن را بدست آورد و یک مدل درک محیطی غنی تری دارد و به کاربران امکان می دهد تجربه صوتی "بسیار WOW" داشته باشند.
زمان پست: ژوئیه 20-2022
