Системата използва комплекс от невронни мрежи, за да анализира разнородна информация: реч, изражения на лицето, жестове и текст. Точността на разпознаването достига 80%, което надвишава показателите за съществуващи аналози. Програмата идентифицира седем основни емоции: радост, тъга, страх, отвращение, изненада, гняв и спокойствие.
Характеристика на развитието е способността да се работи в трудни условия – с фонов шум, лошо осветление или когато човек не гледа в камерата. Системата също разпознава ирония и сарказъм, когато значението на споменатото не съвпада с интонацията или изразяването на лицето.
Невронните мрежи бяха проучени в многоезични бази данни, съдържащи записи на хора от различни възрасти, пол и националност. За да се създаде руско -лангезивен базов сегмент, участваха млади актьори от театрални университети.
Според ръководителя на лабораторията по реч и мултимодални интерфейси Алексей Карпов, системата може да бъде интегрирана в различни цифрови асистенти.
