Поєднання тепловізійної зйомки обличчя та штучного інтелекту показує багатообіцяючі результати у виявленні ішемічної хвороби серця
Стаття
Команда дослідників з Китаю розробила систему на основі штучного інтелекту (ШІ), яка потенційно може допомогти людям з вадами зору досліджувати, розуміти і насолоджуватися незнайомим середовищем навколо них. Дослідження опубліковано в журналі Nature Portfolio Artificial Intelligence.
Вивчення природних середовищ, таких як парки, має значний позитивний вплив на фізичне та психічне здоров'я. Однак людям з поганим зором або сліпотою часто не вистачає цих переваг, оскільки вони не мають доступу до відповідних допоміжних засобів, які б допомагали їм активно взаємодіяти з ними.
Існуючі допоміжні рішення, призначені для допомоги людям з вадами зору, в першу чергу зосереджені на наданні функціональної допомоги, такої як навігація та уникнення перешкод, що дозволяє їм пасивно взаємодіяти з природою.
Люди з порушеннями зору часто відчувають безпорадність при дослідженні незнайомого оточення. Зазвичай це означає, що вони покладаються на допомогу членів сім'ї, друзів або волонтерів, що погіршує їхню здатність активно досліджувати та розуміти незнайоме середовище, а також запам'ятовувати та спілкуватися з іншими людьми з порушеннями зору про свою подорож.
Команда китайських дослідників розробила систему на основі штучного інтелекту під назвою VIPTour, яка дозволяє людям з вадами зору отримати почуття незалежності в незнайомому середовищі.
VIPTour — це система на основі штучного інтелекту, яка включає набір легких, портативних споживчих пристроїв (камеру та смартфон) та нову мережу алгоритмів глибокого навчання під назвою FocusFormer. Ефективні методи мультисенсорної взаємодії, такі як аудіо та ієрархічна тактильна взаємодія, керують взаємодією між користувачами з вадами зору та VIPTour.
FocusFormer розглядає естетику, свіжість (новизну) та базові потреби (включаючи навігацію та безпеку) як основні фактори вилучення значущої інформації зі складного, незнайомого середовища та усунення зайвих візуальних деталей. Це знижує когнітивне навантаження на користувачів з порушеннями зору.
FocusFormer перетворює величезні обсяги інформації в структурований, розріджений та ієрархічний персоналізований графік. Виходячи з цього добре структурованого графіка, FocusFormer взаємодіє з користувачами з вадами зору через додаток для смартфона, розуміє їхні вподобання та надає персоналізовану допомогу через адаптер.
Навчання базується на тисячах відео з публічного туризму, знятих зрячими туристами в режимі самоконтролю, що сприяє ефективному зменшенню естетичних упереджень.
Система VIPTour також має можливість записувати, зберігати та обмінюватися досвідом, полегшуючи емоційне спілкування між людьми з вадами зору та сприяючи обміну знаннями та досвідом у соціальних мережах.
Головна технічна інновація VIPTour полягає в її багатопрофільній мережі FocusFormer. Цей підхід використовує фонову підмережу для фільтрації звичайних об'єктів, підмережу атракціонів для виявлення основних моментів, підмережу свіжості для виявлення нових функцій і підмережу потреб, навчену на основі опитувань, проведених з учасниками з вадами зору. Ці підмережі об'єднуються для вибору, ранжування та представлення найбільш релевантної інформації для кожного користувача.
Система VIPTour також використовує адаптер BLV-in-the-Loop, який оновлює свої рекомендації в режимі реального часу на основі індивідуальних відгуків користувачів, таких як «подобається» і «не подобається», тим самим забезпечуючи персоналізацію.
Система VIPTour була протестована на 33 людях з повною або частковою втратою зору, а також була зібрана дані про емоційні переживання, про які вони повідомляли самостійно, для аналізу.
Що стосується допоміжних функцій, дослідження показало, що VIPTour ефективно допомагає людям з вадами зору активно досліджувати та глибоко розуміти незнайоме оточення, наділяючи їх точними та тривалими спогадами, а також дозволяючи їм спілкуватися з однолітками.
Завдяки ретельному аналізу власних повідомлень учасники дослідження виявили, що при використанні VIPTour вони успішно досягли збільшення позитивної емоційної реакції на 67,9%, збудження на 94,7%, підвищення точності когнітивного картографування на 772,73% і збільшення точності довготривалої пам'яті на 200%.
Користувачі оцінили зручність використання VIPTour стабільно вище 80 балів зі 100, що можна порівняти або краще за інші допоміжні інструменти для людей з вадами зору.
Фізіологічні показники, включаючи електричну активність шкіри та варіабельність серцевого ритму, показали значне покращення при прийомі VIPTour, що вказує на підвищену емоційну активність.
У дослідженні підкреслюється потенціал використання системи VIPTour на основі штучного інтелекту для надання людям з вадами зору приємного та незабутнього досвіду під час активного дослідження незнайомого середовища. Такий досвід може значно покращити їхній емоційний стан та покращити загальну якість життя.
Дані свідчать про те, що представлення організованої та захоплюючої інформації може підвищити рівень задоволення людини та сприяти глибшому збереженню пам'яті. Люди мають природну схильність до обробки добре структурованої та значущої інформації, що робить їхній досвід більш приємним і незабутнім.
Таку схильність людини можна пояснити концепцією когнітивної швидкості, яка вказує на те, що чітке і організоване подання інформації знижує пізнавальне навантаження на людей. Згодом це допомагає їм спрямовувати розумові ресурси на розуміння та інтеграцію контенту. Ця покращена швидкість обробки викликає позитивну реакцію, оскільки люди приємніше сприймають інформацію.
Крім того, взаємодія між новою і звичною інформацією впливає на вплив організованої та цікавої інформації на пам'ять. Нова інформація стимулює цікавість і підвищує увагу, а знайома інформація забезпечує когнітивний комфорт і зв'язність.
Представлення інформації в структурованій та захоплюючій формі збалансовує новизну та знайомство, що допомагає підтримувати інтерес та залученість людей.
Самостійне навчання FocusFirst з тисячами відео про громадський туризм без маркувань ефективно зафіксувало когнітивну швидкість, виявивши статистичні зв'язки між різними концепціями в туристичних сценах. Цей підхід усуває потенційну упередженість у маркуванні вподобань щодо подорожей і навчає модель отримувати лише релевантну контекстуальну інформацію.
Ці персоналізовані рішення FocusFormer дозволили системі VIPTour успішно імітувати бажану когнітивну швидкість, тим самим покращуючи досвід подорожей для людей з вадами зору.
Варто зазначити, що вплив VIPTour залежить від якості базових методів штучного інтелекту, таких як виявлення об'єктів та генерація семантичного графа. Майбутні вдосконалення цих методів можуть ще більше підвищити продуктивність системи.
