Исследователи из Техасского университета в Далласе разработали новый интерфейс для дополненной реальности, который позволяет пользователям печатать текст на поверхности обычных предметов. Эта технология, получившая название PropType, проецирует виртуальную клавиатуру на такие объекты, как бутылки, банки и книги.
Разработка призвана решить одну из ключевых проблем AR-интерфейсов — медленную скорость печати и усталость рук, вызванную необходимостью вводить текст в пустом пространстве. PropType использует любой предмет, который можно держать в руках, в качестве основы для клавиатуры, обеспечивая пользователей реальной тактильной отдачей. Как пояснил доктор Джин Рёнг Ким, доцент кафедры компьютерных наук, система интегрирует объекты из окружающего пространства, переосмысливая ввод текста в дополненной реальности и создавая плавную связь между физическим и виртуальным мирами.
PropType использует тактильную обратную связь, обеспечиваемую самими объектами, что улучшает подтверждение нажатия клавиш и снижает зависимость от визуальных подсказок. Исследовательская группа представила эту систему ранее в этом году на крупных конференциях по взаимодействию человека с компьютером в Японии и Южной Корее.
Виртуальные клавиатуры часто вызывают разочарование у пользователей, поскольку требуют печати в воздухе и постоянной визуальной концентрации. PropType пытается исправить это, перенося ввод обратно в физический мир. Система размещает раскладку клавиатуры на реальном объекте и адаптируется к его форме. Она работает на изогнутых или неровных поверхностях, включая бутылки, банки с газировкой, кофейные чашки и книги.
Команда изучила, как шестнадцать человек держат в руках повседневные предметы. Были исследованы сила хвата, положение руки и движение пальцев. Эти наблюдения помогли создать пользовательские раскладки клавиатуры, которые ощущаются естественно на разных предметах. Пользователи также могут проектировать свои собственные раскладки клавиш. Инструмент редактирования позволяет изменять размер, интервалы и визуальные эффекты. Исследователи заявляют, что это помогает PropType работать в различных условиях, где использование внешних клавиатур непрактично.
Разработка PropType продолжает более широкие исследования доктора Кима в области технологий осязания, которая изучает осязание, вибрацию и тепловые сигналы в цифровых системах. Его лаборатория недавно получила признание за работу по тепловому маскированию и термо-тактильной интеграции. Эти эксперименты изучают, как мозг интерпретирует тепло и вибрацию. Например, если тепловой актуатор расположен на предплечье, а вибрационный — в нескольких сантиметрах от него, комбинированные сигналы могут обмануть пользователя, заставив его ощутить тепло в обоих местах. Эта линия исследований может изменить сферу виртуальной реальности и медицинских симуляторов, создавая ощущения, которые кажутся более реалистичными. Конечная цель, по словам Кима, — создание интерфейсов, которые реагируют с высокой точностью и создают более сильное погружение.
