Сочетание тепловизионной съемки лица и искусственного интеллекта показывает многообещающие результаты в выявлении ишемической болезни сердца
Статья
Группа исследователей из Китая разработала систему на основе искусственного интеллекта (ИИ), которая может потенциально помочь людям с нарушениями зрения исследовать, понимать и наслаждаться незнакомой средой вокруг них. Исследование опубликовано в журнале Nature Portfolio Journal Artificial Intelligence .
Изучение природных сред, таких как парки, оказывает значительное положительное влияние на физическое и психическое здоровье. Однако люди с плохим зрением или слепотой часто лишены этих преимуществ, поскольку им не доступны соответствующие вспомогательные средства, которые помогли бы им активно взаимодействовать с ними.
Существующие вспомогательные решения, разработанные для помощи людям с нарушениями зрения, в первую очередь направлены на предоставление функциональной помощи, такой как навигация и обход препятствий, что позволяет им пассивно взаимодействовать с природой.
Люди с нарушениями зрения часто чувствуют себя беспомощными, исследуя незнакомую среду. Обычно это означает, что они полагаются на помощь членов семьи, друзей или волонтеров, что ухудшает их способность активно исследовать и понимать незнакомую среду, а также помнить и общаться с другими людьми с нарушениями зрения о своем путешествии.
Группа китайских исследователей разработала систему на основе искусственного интеллекта под названием VIPTour, которая позволяет людям с нарушениями зрения обрести чувство независимости в незнакомой обстановке.
VIPTour — это система на основе искусственного интеллекта, включающая набор легких, портативных потребительских устройств (камера и смартфон) и новую сеть алгоритмов глубокого обучения под названием FocusFormer. Эффективные методы мультисенсорного взаимодействия, такие как аудио и иерархическое тактильное взаимодействие, управляют взаимодействием между пользователями с нарушениями зрения и системой VIPTour.
FocusFormer рассматривает эстетику, свежесть (новизну) и базовые потребности (включая навигацию и безопасность) как основные факторы извлечения значимой информации из сложной, незнакомой среды и исключения избыточных визуальных деталей. Это снижает когнитивную нагрузку на пользователей с нарушениями зрения.
FocusFormer преобразует огромные объемы информации в структурированный, разреженный и иерархический персонализированный график. На основе этого хорошо структурированного графика FocusFormer взаимодействует с пользователями с нарушениями зрения через приложение для смартфона, понимает их предпочтения и предоставляет персонализированную помощь через адаптер.
Обучение проводится на основе тысяч видеороликов общественного туризма, снятых зрячими туристами в режиме самоконтроля, что способствует эффективному снижению эстетической предвзятости.
Система VIPTour также имеет возможности для записи, хранения и обмена опытом, облегчая эмоциональное общение между людьми с нарушениями зрения и способствуя обмену знаниями и опытом в социальных сетях.
Основная техническая инновация VIPTour заключается в его многовнимательной сети FocusFormer. Этот подход использует фоновую подсеть для фильтрации часто встречающихся объектов, подсеть привлекательности для определения основных моментов, подсеть свежести для обнаружения новых особенностей и подсеть потребностей, обученную на опросах, проведенных с участниками с нарушениями зрения. Эти подсети объединяются для выбора, ранжирования и представления наиболее релевантной информации для каждого пользователя.
Система VIPTour также использует адаптер BLV-in-the-Loop, который обновляет свои рекомендации в режиме реального времени на основе индивидуальных отзывов пользователей, таких как «нравится» и «не нравится», тем самым обеспечивая персонализацию.
Система VIPTour была протестирована на 33 людях с полной или частичной потерей зрения, и для анализа были собраны данные об эмоциональных переживаниях, о которых сообщалось самими людьми.
Что касается вспомогательных функций, исследование показало, что система VIPTour эффективно помогает людям с нарушениями зрения активно исследовать и досконально понимать незнакомую обстановку, наделяет их точными и долговременными воспоминаниями и позволяет им общаться со сверстниками.
Благодаря тщательному анализу собственных сообщений участники исследования обнаружили, что при использовании VIPTour успешно достигли 67,9%-ного увеличения положительной эмоциональной реакции, 94,7%-ного увеличения возбуждения, 772,73%-ного увеличения точности когнитивного картирования и 200%-ного увеличения точности долговременной памяти.
По оценкам пользователей, показатели удобства использования системы VIPTour постоянно превышали 80 из 100, что сопоставимо или даже лучше показателей других вспомогательных инструментов для людей с нарушениями зрения.
Физиологические показатели, включая электрическую активность кожи и вариабельность сердечного ритма, показали значительные улучшения при использовании VIPTour, что указывает на усиление эмоциональной вовлеченности.
Исследование подчеркивает потенциальные возможности использования системы VIPTour на основе ИИ для предоставления людям с нарушениями зрения приятного и запоминающегося опыта при активном изучении незнакомой среды. Такой опыт может значительно повысить их эмоциональное состояние и улучшить общее качество жизни.
Существующие данные свидетельствуют о том, что представление организованной и увлекательной информации может повысить уровень удовольствия человека и способствовать более глубокому сохранению памяти. Люди имеют естественную тенденцию обрабатывать хорошо структурированную и значимую информацию, что делает их опыт более приятным и запоминающимся.
Эту человеческую тенденцию можно объяснить концепцией когнитивной беглости, которая указывает на то, что четкое и организованное представление информации снижает когнитивную нагрузку на людей. Впоследствии это помогает им направлять умственные ресурсы на понимание и интеграцию содержания. Эта улучшенная беглость обработки вызывает положительный ответ, поскольку люди воспринимают информацию более приятно.
Более того, взаимодействие между новой и знакомой информацией влияет на эффект организованной и интересной информации на память. Новая информация стимулирует любопытство и усиливает внимание, в то время как знакомая информация обеспечивает когнитивный комфорт и связность.
Представление информации в структурированной и увлекательной форме позволяет сбалансировать новизну и знакомость, что помогает поддерживать интерес и вовлеченность людей.
Самостоятельное обучение FocusFormer с тысячами немаркированных видеороликов общественного туризма эффективно зафиксировало когнитивную беглость, раскрывая статистические связи между различными концепциями в туристических сценах. Этот подход устраняет потенциальную предвзятость в маркировке предпочтений в турах и обучает модель извлекать только релевантную контекстную информацию.
Эти персонализированные решения FocusFormer позволили системе VIPTour успешно смоделировать желаемую когнитивную беглость, тем самым улучшив туристический опыт для людей с нарушениями зрения.
Стоит отметить, что влияние VIPTour зависит от качества базовых методов ИИ, таких как обнаружение объектов и генерация семантического графа. Будущие улучшения этих методов могут еще больше повысить производительность системы.
