Новости

https://www.nature.com/articles/s41467-026-68918-y

В последние годы достижения в области электроники и биоэлектроники привели к тому, что гибкие устройства произвели революцию во взаимодействии человека и компьютера. Отслеживание движений глаз является ключевой технологией в интерфейсах человек–машина, нейронауке, психофизиологии зрения и клинической диагностике. Однако существующие методы, как правило, зависят от точного распознавания зрачка или радужки и чувствительны к различиям в освещении, положению век и ресниц, а также к индивидуальным анатомическим особенностям глаза и черепа.

В данной работе представлен новый подход к отслеживанию движений глазного яблока, основанный на использовании косметических контактных линз с пространственно-хроматическим кодированием. В линзы интегрированы специально разработанные микроструктурированные узоры, которые формируют уникальные спектральные и пространственные характеристики отражённого света, регистрируемые стандартными RGB-камерами.

Предложенная система обеспечивает высокую устойчивость к изменениям освещения и геометрии наблюдения, демонстрируя среднюю угловую ошибку менее 1° при естественных условиях использования. Экспериментальные результаты подтверждают, что пространственно-хроматическое кодирование существенно повышает точность и надёжность отслеживания взгляда по сравнению с традиционными методами, основанными исключительно на анализе положения зрачка.

Введение

Отслеживание движений глаз играет фундаментальную роль в исследованиях зрительного восприятия, когнитивных процессов и в разработке интерактивных систем. В клинической практике офтальмологии и неврологии анализ саккад, фиксаций и микродвижений глаз используется для оценки функционального состояния зрительной системы и центральной нервной системы.

Современные системы отслеживания движений глазного яблока преимущественно опираются на методы распознавания зрачка или радужки с использованием инфракрасных или видимых камер. Несмотря на значительный прогресс, такие методы сталкиваются с рядом фундаментальных ограничений. В частности, точность распознавания резко снижается при изменяющемся освещении помещения, частичном перекрытии зрачка веками или ресницами, а также при атипичном косоглазии. Кроме того, индивидуальные различия в анатомии глаза, цвете радужки и отражательных свойствах поверхности глаза усложняют универсальное применение алгоритмов отслеживания. Это особенно критично для мобильных и носимых систем, предназначенных для использования вне лабораторных условий.

В последние годы предпринимались попытки интеграции вспомогательных маркеров в область глаза, однако большинство таких решений либо ухудшает естественный внешний вид пользователя, либо требует сложных аппаратных средств. В этой связи актуальной задачей остаётся разработка ненавязчивого, биосовместимого и устойчивого метода улучшения визуального кодирования движений глаз. Интеграция оптоэлектронных устройств в контактные линзы служит эффективным способом улучшения характеристик движения глаз. Например, наша исследовательская группа ранее интегрировала индуктивно-емкостные резонаторы на основе частотного кодирования стратегии использования контактных линз, обеспечивающая точное отслеживание движения глаз и распознавание команд глаз. Ган и соавт. внедрили магнитные материалы в контактные линзы и точно определили ориентацию глаз в 9 направлениях с помощью беспроводного измерения изменений магнитного поля с помощью 8-канального тесламетра. И. М. Фрадкин и соавт. встроили пассивный оптический модуль в контактную линзу, состоящий из двух перекрывающихся слоев решетки, которые образуют волнообразный (муаровый) узор, чувствительный к углам движения глаз, что позволяет достичь удивительно высокое угловое разрешение и высокую устойчивость к воздействию окружающего света. А. Халди и соавт. встроили в контактные линзы лазер ближнего инфракрасного диапазона с беспроводным питанием, в котором направление движения глаз определялось положением пятна ближнего инфракрасного диапазона.

Очевидно, что интеграция устройств с различными физическими свойствами в контактные линзы может обеспечить слаженность показателей движения глаз. Такая слаженность повышает устойчивость к помехам при отслеживании движений глаз и повышает удобство использования например во время закрытия глаз. Однако на нынешнем этапе разработки контактных линз, отслеживающих движение глаз, все еще необходимо сосредоточиться на соблюдении фундаментальных физико-химических свойств контактных линз, таких как легкость, высокая гибкость и отличная смачиваемость поверхности, прежде чем они смогут получить широкое распространение. Для решения вышеупомянутых проблем используются косметические контактные линзы. Используя стратегию первичного пространственно-хроматического кодирования RGB (красный, зеленый, синий) , на линзах изображают расположенные по кругу зеленые сплошные круги и красные точки, что обеспечивает яркие цвета и стандартную форму при движении глаз, а также полностью соответствует требованиям безопасности и комфорта. За счет получения изображений с помощью объектива с помощью обычной недорогой RGB-камеры и применения простых алгоритмов обработки цветовых оттенков и морфологических изображений достигается значительное повышение эффективности отслеживания движения глаз. Предлагаемое решение предлагает следующее преимущества:

• (а) Превосходная общая скорость распознавания, составляющая 93%, в сложных условиях освещения, что на 53% выше, чем при съемке невооруженным глазом;
• (б) точность отслеживания взгляда менее чем на 1°, оценка направления взгляда и непрерывное позиционирование точки обзора в течение всего кадра;
• (в) Поддержка высокоточных внеосевое расположение камеры позволяет использовать ненавязчивую технологию отслеживания движения глаз.

Обладая всеми этими свойствами, предлагаемые косметические контактные линзы с улучшенной функцией движения глаз (EMFE), как ожидается, улучшат зрение.

В настоящем исследовании предлагается принципиально новый подход — использование косметических контактных линз с пространственно-хроматическим кодированием, которые формируют стабильные визуальные признаки, легко регистрируемые стандартными RGB-камерами. Такой подход позволяет существенно повысить точность отслеживания взгляда без необходимости модификации аппаратной части трекера и без заметного изменения внешнего вида глаза.

Чтобы обеспечить точное и надежное отслеживание движения глаз, мы разработали косметические контактные линзы EMFE cosmetic с цветовой кодировкой RGB, как показано на рис. 1а. Рисунок линзы представляет собой синее кольцо по периферии, украшенное 12 равномерно расположенными зелеными сплошными круглыми элементами, перемежающимися красными точками между зелеными элементами. Красный, зеленый и синий цвета расположены под углом 0°, 120° и 240° что обеспечивает значительные хроматические различия. При съемке глаза в этих линзах с помощью камеры RGB высокая цветовая контрастность и четкие границы рисунка позволяют алгоритмам распознавания точно идентифицировать эти особенности движения глаз. Периферийное распределение рисунка позволяет избежать помех в оптической зоне. По сравнению с регистрацией взгляда только по одиночному объекту (например, зрачком), 12 равномерно распределенных зеленых элементов для регистрации движения значительно повышают надежность распознавания образов в условиях сложных световых ограничениях, прикрытия веком и ресницами. Точное отслеживание взгляда достигается с помощью функции отображения центроидного угла, которая вычисляет углы взгляда по центроидам зеленых сплошных кругов. Кроме того, большее количество зеленых сплошных кругов повышает точность измерения угла обзора. При динамичных движениях глаз на изображениях, снятых камерами с низкой частотой кадров, часто возникает размытость изображения. Здесь красные точки образуют красные траектории. Красные точки на линзе небольшого диаметра, что позволяет их траектории совпадать с траекторией движения глаз. Идентифицируя эти красные траектории и комбинируя их с углами движения глаз, рассчитанными по соседним статичным кадрам, можно получить полнокадровое непрерывное позиционирование точки пристального взгляда. Этот метод пространственно-временного отслеживания с улучшенными характеристиками позволяет использовать технологию отслеживания глаз в естественных условиях. Кроме того, зеленые сплошные круги имеют стандартную форму и известный диаметр. В сочетании с параметрами изображения камеры они позволяют оценить информацию о положении зеленых сплошных кругов в камере. Эта функция помогает определить пространственное положение косметических контактных линз EMFE, тем самым поддерживая более продвинутые функции отслеживания взгляда, такие как оценка направления взгляда и компенсация смещения камеры. Рисунок на контактных линзах EMFE, созданный с использованием коммерческих косметических красителей, переносится с плоской поверхности на сферическую поверхность линзы с помощью технологии тампопечати. При изготовлении многослойных линз слой рисунка встраивается в корпус линзы. Стерилизация в автоклаве паром обеспечивает сохранность линзы и ее безопасность. Как показано на рис. 1б, линзы имеют кривизну и диаметр, соответствующие размеру роговицы.

Ультратонкая линза толщиной 80 мкм обеспечивает стабильное прилегание к поверхности роговицы, позволяя линзе точно двигаться вместе с глазом. Измеренная кислородопроницаемость контактной линзы EMFE (Dk) составляет 18,2 × 10-11 (см2/с) [мЛ∙ O2/(мЛ∙ГПа)] и пропускаемость кислорода (Dk/т) 19,8 × 10-9 (см/s) [мЛ ∙ O2/(мЛ ∙ ГПа)]. Содержание воды в контактных линзах EMFE составляет 56%. Линза обладает отличной смачиваемостью поверхности. Как показано на дополнительном рисунке. поверхность линзы не сохраняет сферической формы. Такое поведение указывает на то, что энергия взаимодействия скорости распространения капли между водой и поверхностью линзы значительно превышает энергию сцепления самой воды.

Стандартизированный дизайн и процесс изготовления линз EMFE позволяют легко производить линзы массовым способом при чрезвычайно низких затратах, сохраняя при этом превосходную согласованность рисунка. Для проверки была измерена цитотоксичность косметических контактных линз EMFE, жизнеспособность клеток роговицы человека (HCE-T). Экстракт линзы готовили путем погружения линзы в среду для культивирования клеток на 24 ч. После культивирования клеток с использованием экстрактов в течение 24 ч и последующего добавления реагента CCK-8измеряли оптическую плотность для регистрации жизнеспособности клеток. Жизнеспособность клеток при использовании экстрактов косметических контактных линз EMFE сохранялась более 95% после 24 часов инкубации без заметных различий между контрольными линзами, что значительно превосходит показатели коммерческих контактных линз. Это говорит о том, что косметические контактные линзы EMFE не цитотоксичны при длительном ношении и имеют небольшой риск развития воспалительных процессов.

Плотность распределения клеток, инкубированных в разных экстрактах, была одинаковой, что указывает на низкую биотоксичность. Кроме того, был проведен 6-часовой тест на утечку красителя в условиях, имитирующих слезы. Две контактные линзы EMFE погружали в физиологический раствор с фосфатным буфером (PBS) и выдерживали на водяной бане при температуре 35°C в течение 6 часов. Раствор PBS оставался прозрачным и бесцветным после погружения, и на контактных линзах EMFE не было обнаружено заметных изменений цвета или рисунка, что свидетельствует о высокой биобезопасности и стабильности.

На рис. 1с показан участник, носящий контактную линзу EMFE и устройство для слежения за глазами, установленное на голове. Устройство для слежения за глазами, установленное на голове, включает в себя две камеры, расположенные вне оси глаз, для визуализации глаз и одну камеру, снимающую вид спереди. Три видеопотока передаются через универсальный последовательнeую шину (USB), объединенную с помощью USB-концентратора в один кабель, подключенный к терминалу обработки сигнала изображения, такому как ноутбук. Эта система позволяет в режиме реального времени получать и передавать три канала RGB-видео о движении глаз с частотой 30 кадров в секунду. Кроме того, косметические контактные линзы по своей сути обладают функциями коррекции зрения при весе всего около 20 мг.

Характеристика скорости распознавания признаков движения глаз

Исследование происходило при трех различных режимах освещения: искусственное освещение в помещении, естественное освещение на улице и естественное освещение со стороны окна. При этих трех условиях освещения мы сделали в общей сложности 700 снимков глаз добровольца, носившего косметические контактные линзы EMFE, и сделали снимки используя камеру RGB. Затем изображения были проанализированы с помощью MATLAB R2020b и сравнена точность распознавания алгоритма распознавания цели. Для изображений глаз в косметических контактных линзах, зеленые сплошные круги служат шаблоном для отслеживания движения глаз. Благодаря цветовому контрасту между зелеными сплошными кругами и окружающей синей областью, а также резким краям рисунка, мы изначально выделили зеленую область на изображении, используя пороговый метод HSV. На рис. 2а в верхнем ряду показаны репрезентативные изображения глаз в косметических контактных линзах при трех условиях освещения. Идентифицированные алгоритмом зеленые сплошные круги выделены красными линиями. Некоторые маленькие или чрезмерно сглаженные зеленые сплошные круги активно исключаются программой. Кроме того, при съемке на открытом воздухе зеленые выступы деревьев на поверхности косметических контактных линз не будут ошибочно идентифицированы как зеленые сплошные круги, что свидетельствует о надежности алгоритма распознавания. Мы использовали алгоритмы ElSe43, ExCuSe44, PuRe45, PuReST46, Swirski2D47 в PupilEXT48 и градиентный алгоритм 49, предложенный Фабианом Тиммом и соавторами, для идентификации областей зрачка на изображениях. Центроиды идентифицированных областей отмечены на изображениях различными символами, как показано в нижнем ряду на рис. 2а. Отсутствие маркера указывает на сбой алгоритма из-за чрезмерного отклонения центроида или необнаруженного зрачка.

Мы сравнили особенности движения глаз в помеченной контактной линзе и также оценили движения глаза без линзы на одном и том же алгоритме.

Если центр тяжести области, идентифицированной алгоритмом, находится в пределах области достоверности, распознавание считается успешным, и пиксельное отклонение между центром тяжести и областью достоверности определяется как отклонение пикселя от центра тяжести. На рис. 2b сравниваются различия в скорости распознавания между распознаванием зеленого сплошного круга в косметических контактных линзах и распознаванием зрачка невооруженным глазом, а также совокупная вероятность отклонения центроидных пикселей для этих характеристик движения глаз. При искусственном освещении в помещении, естественном освещении на улице и естественном освещении со стороны окна показатели распознавания зеленых сплошных кругов в косметических контактных линзах составили 96,6%, 83,3% и 99,0% соответственно, в то время как показатели распознавания зрачков без линзы при использовании различных алгоритмов были ниже 55%.

Значительное улучшение показателей распознавания объясняется двумя факторами: сильным цветовым контрастом и соответствием морфологическим стандартам моделей косметических контактных линз. Это демонстрирует эффективность использования косметических контактных линз EMFE для распознавания особенностей движения глаз в сложных условиях. Общее распознавание доля зеленых сплошных кругов составила 93%, при этом 90% отклонений от центра тяжести составляли менее 12 пикселей, в то время как отклонения от центра зрачка были значительно больше. Распределение отклонений от центра зеленых сплошных кругов показано на дополнительном рисунке. 5. В последующих приложениях, используя центроид зеленых сплошных кругов для отображения углов взгляда с помощью функции отображения угла взгляда, вы сможете более точно рассчитать угол движения глаз.

Чтобы избежать загораживания линии обзора и создать естественное, незаметное устройство для слежения за глазами, устанавливаемое на голове, положение камеры должно отклоняться от оптической оси глазного яблока при взгляде прямо перед собой. Камера должна фиксировать область вокруг глаз под большим углом наклона, что делает ее очень уязвимой для потери функции отслеживания движения глаз и приводит к сбоям в отслеживании при больших углах движения глаз. Камера расположена под глазным яблоком и перед ним, при этом установлены различные углы наклона , чтобы глазное яблоко оставалось в центре изображения. Распознавание признаков движения глаз анализируется под разными углами для обоих случаев: при ношении косметических контактных линз EMFE и без них. Как показано на рис. 2d, для изображения с линзами используется вышеупомянутый алгоритм распознавания объектов, чтобы идентифицировать зеленые сплошные круги, края которых отмечены красным цветом. Нижнее изображение на рис. 2d демонстрирует типичное изображение закрытого зрачка, когда угол наклона камеры составляет 80°, а глазное яблоко поворачивается на угол поворота 0° и угол наклона 30°. По мере увеличения угла наклона камеры с 50° до 80°алгоритм распознавания признаков позволяет точно идентифицировать зеленый узор в виде сплошного круга во всем диапазоне движений глаз при использовании косметических контактных линз EMFE. Для сравнения, при съемке без объективов углы наклона камеры в 50° и 60° позволяют фиксировать область зрачка во всем диапазоне движений глаз. Однако при углах наклона, равных 70° и 80°, 14% и 18% диапазона движения глаз, соответственно, теряют характеристики зрачка. Более того, даже когда доброволец щурится в разной степени, камера по-прежнему способна легко фиксировать зеленый круговой рисунок, как показано на дополнительном рисунке 6. Это демонстрирует, что ношение контактных линз EMFE позволяет расположить камеру далеко от оси что способствует более естественному и незаметному отслеживанию движения глаз.

Алгоритм расчета угла движения глаз

Характеристика отслеживания движения глаз как в модели движения глаз, так и в человеческом глазу проходит две фазы: фазу калибровки и фазу отслеживания. Eye tracker фиксирует изображение глаза по каждому маркеру. На каждом изображении выделены области зеленых сплошных кругов и соответствующий им пиксель центра тяжести, далее вычисляются координаты. Затем для каждого зеленого сплошного круга устанавливается функция отображения, связывающая его координаты центра с соответствующими известными направлениями взгляда, тем самым завершая этап калибровки. Во время этапа отслеживания глаз устройство непрерывно фиксирует изображения глаз. Вычисляются центроиды обнаруживаемых зеленых сплошных кругов, и соответствующие им функции отображения применяются для оценки угла обзора. Окончательное направление взгляда определяется путем усреднения индивидуальных оценок по всем доступным окружностям.

Обеспечение безопасности при отслеживании движения глаз человека

Для оценки ключевых показателей эффективности, таких как скорость распознавания и точность технологии отслеживания глаз, в ходе практического применения были отобраны здоровые участники (2 мужчины и 2 женщины). Возраст участников – от 22 до 29 лет. Это исследование было одобрено Комитетом по этике Первой дочерней больницы Nanjing Medical Университет (2025-SR-023). У испытуемых исключался синдром сухого глаза и воспаление глазной поверхности. Участники должны были быть свободны от глазных патологий, таких как синдром сухого глаза или воспаление глазной поверхности. Во время экспериментов устройство слежения за глазами, установленное на голове, не использовало подсветку глаз с близкого расстояния. Время ношения косметических линз не превышало 6 часов.

Результаты

Конструкция косметической контактной линзы с усиленными признаками движений глаз (EMFE-линза)

Косметические контактные линзы позволяют интегрировать внутри своего материала декоративные узоры с яркой окраской, не нарушая при этом зрительные функции. В настоящей работе авторы разработали контактную линзу с усиленными признаками движений глаз (Eye Movement Feature Enhanced, EMFE), основанную на стратегии RGB-пространственно-хроматического кодирования.

Узор линзы располагается в периферической зоне и состоит из:

• одного синего кольца,
• 12 равномерно распределённых зелёных сплошных кругов,
• красных точечных маркеров, размещённых между зелёными элементами.

Красный, зелёный и синий цвета соответствуют различным участкам цветового пространства (0°, 120° и 240° в HSV-домене), что обеспечивает высокий цветовой контраст и надёжную сегментацию при съёмке стандартными RGB-камерами. Такое цветовое и пространственное разделение существенно облегчает автоматическое распознавание элементов даже в условиях сложного освещения.

Периферическое расположение узора исключает перекрытие оптической зоны и не влияет на центральное зрение, при этом обеспечивает уверенную визуализацию маркеров даже при значительных отклонениях камеры от оптической оси глаза.

По сравнению с изображениями глаза без линзы, где единственным ориентиром служит зрачок, наличие 12 стандартизированных маркеров существенно повышает устойчивость распознавания к:

• теням от век и ресниц,
• бликам роговицы,
• вариабельности освещения,
• индивидуальным анатомическим особенностям глаза.

Определение направления взгляда осуществляется с использованием центроидно-угловой модели, в которой координаты центров зелёных кругов используются для расчёта углов поворота глаза. Увеличение числа маркеров повышает точность вычислений за счёт статистического усреднения.

Отслеживание динамических движений глаз

При быстром движении глаз (саккады, слежение) изображения, полученные с камер с невысокой частотой кадров, подвержены эффекту смазывания. В таких условиях красные точечные маркеры формируют характерные линейные траектории размытия, направление которых совпадает с направлением движения глазного яблока.

Распознавание этих траекторий позволяет:

• восстановить непрерывную траекторию взгляда между статическими кадрами;
• компенсировать ограниченную частоту кадров камеры;
• обеспечить покадровое непрерывное позиционирование точки фиксации.

Таким образом, система сочетает пространственное кодирование (зелёные круги) и временное кодирование (красные маркеры), что значительно повышает устойчивость отслеживания в реальных условиях.

Пространственная локализация линзы и оценка направления взгляда

Зелёные маркеры имеют стандартную геометрию и известный диаметр. В сочетании с параметрами камеры это позволяет вычислять пространственное положение (3D-позу) каждого маркера в системе координат камеры.

Используя данные от нескольких маркеров, система:

• определяет центр сферической поверхности линзы;
• восстанавливает направление оптической оси глаза;
• позволяет оценивать направление взгляда без использования индивидуальной калибровки, что особенно важно для клинического применения.

Материалы, биосовместимость и безопасность

EMFE-линзы изготавливаются из гидрогеля на основе HEMA, с использованием многослойного («сэндвич-») технологического процесса, при котором пигментный слой полностью инкапсулирован внутри материала линзы.

Ключевые физико-химические характеристики:

• толщина линзы — около 80 мкм, что обеспечивает стабильное прилегание к роговице;
• кислородопроницаемость (Dk) — 18,2 × 10⁻¹¹;
• кислородная трансмиссия (Dk/t) — 19,8 × 10⁻⁹;
• влагосодержание — 56%;
• выраженная гидрофильность поверхности.

Исследования цитотоксичности на культуре эпителиальных клеток роговицы человека (HCE-T) показали:

• жизнеспособность клеток >95% через 24 часа инкубации;
• отсутствие признаков цитотоксичности;
• показатели, превосходящие коммерческие контактные линзы.

Тесты на утечку красителя в условиях, имитирующих слёзную плёнку, не выявили изменений цвета или структуры линз, что свидетельствует о высокой биологической стабильности и безопасности при ношении

Количественная оценка точности и устойчивости отслеживания движений глаз

Распознавание признаков при различных углах наблюдения

Для создания портативных систем отслеживания взгляда, камеры, как правило, располагаются со значительным отклонением от оптической оси глаза. Однако при этом традиционные методы распознавания зрачка быстро теряют устойчивость из-за частичной окклюзии и геометрических искажений.

В настоящем исследовании камера располагалась ниже и впереди глазного яблока с углами наклона от 50° до 80°. Анализ показал, что при использовании EMFE-линзы алгоритм распознавания уверенно идентифицирует зелёные маркеры на всём диапазоне движений глаз, включая экстремальные положения взгляда.

В отличие от этого, при отсутствии линзы:

• при углах 70° и 80° до 14–18% диапазона движений сопровождались полной потерей зрачкового признака;
• при прищуривании зрачок часто полностью перекрывался веком;
• устойчивое отслеживание становилось невозможным.

Таким образом, применение EMFE-линзы обеспечивает принципиально новую степень свободы размещения камеры, что критично для клинических и мобильных систем.

Оценка точности на модели глаза

Для точной валидации системы использовалась двухосевая поворотная платформа, имитирующая движения человеческого глаза:

• горизонтальные движения (yaw): ±40°;
• вертикальные движения (pitch): ±30°.

Для каждой позиции проводилась съёмка изображения глаза с надетой EMFE-линзой. С помощью цветовой сегментации (HSV) и морфологического анализа выделялись центры зелёных маркеров, после чего строилась полиномиальная функция соответствия между координатами маркеров и углами поворота глаза.

Для упрощения процедуры калибровки использовалась 9-точечная схема вместо полной 63-точечной:

• средняя угловая ошибка составила 0,82° ± 0,58°;
• при полной калибровке ошибка составляла 0,74° ± 0,40°.

Таким образом, упрощённая калибровка практически не снижала точность, что имеет важное практическое значение.

Влияние условий освещения

Точность отслеживания дополнительно оценивалась:

• в помещении при искусственном освещении;
• у окна (≈322 лк);
• на открытом воздухе (≈25 100 лк).

Даже в условиях сложного и переменного освещения средняя угловая ошибка оставалась менее 1°:

• у окна — 0,95° ± 0,61°;
• на улице — 0,96° ± 0,67°.

Авторы подчёркивают, что с физиологической точки зрения такая погрешность меньше углового размера фовеолы, что делает систему достаточной для анализа зрительного внимания и фиксаций.

Сравнение количества маркеров

Было показано, что линзы с 12 зелёными маркерами обеспечивают более высокую точность, чем линзы с 4 маркерами:

• при 12 маркерах система стабильно распознаёт не менее 3 элементов на любых углах взгляда;
• усреднение данных снижает влияние шумов освещения и частичной окклюзии.

Это подтверждает, что избыточность визуальных признаков является ключевым фактором устойчивости метода.

Оценка направления взгляда без калибровки

Благодаря известной геометрии зелёных кругов и параметрам камеры авторы реализовали прямую оценку направления оптической оси глаза на основе 3D-позы маркеров.

Погрешность оценки направления взгляда составила 3,08° ± 1,54°. Хотя данный показатель уступает калиброванным методам, он позволяет:

• определить направление взгляда без индивидуальной настройки;
• использовать систему в сценариях быстрого развёртывания и массового применения.

Демонстрационные сценарии применения

Одним из ключевых прикладных применений технологии отслеживания взгляда является определение областей зрительного интереса. В эксперименте испытуемому последовательно предъявлялись изображения, при этом система регистрировала координаты точки фиксации и её длительность в каждом кадре.

Для каждой фиксации рассчитывался весовой коэффициент интереса, максимальный в точке фиксации и убывающий с увеличением расстояния. Накопление этих значений во времени позволило сформировать тепловые карты зрительного движения (heat maps), наглядно демонстрирующие, какие элементы изображения привлекали наибольшее внимание.

Эксперимент показал, что система с EMFE-линзой корректно выявляет наиболее значимые объекты сцены, что подтверждает её применимость в когнитивных и клинических исследованиях зрительного внимания.

Анализ фиксаций при чтении

Анализ движений глаз при чтении является одним из наиболее информативных методов оценки когнитивной нагрузки и особенностей обработки текста.

Во время эксперимента испытуемый читал текст на экране, а система регистрировала:

• координаты фиксаций;
• последовательность саккад;
• скорость движений глаз.

Траектории взгляда включали чередование статических фиксаций и быстрых перемещений, при этом отчётливо визуализировались регрессии и повторные фиксации, отражающие когнитивную переработку текста.

Полученные данные полностью соответствовали классическим моделям глазодвигательного поведения при чтении и подтверждали высокую временную и пространственную точность системы.

Отслеживание взгляда в естественных условиях («in the wild»)

Одним из наиболее сложных сценариев для систем отслеживания взгляда является использование вне лаборатории, при изменяющемся освещении и динамических сценах.

Испытуемый, носящий EMFE-линзы и наголовный трекер, выполнял задания в различных условиях:

• на открытых площадках;
• вдоль затенённых аллей;
• у витрин и крупных экранов;
• в условиях перехода от дневного освещения к сумеречному.

Несмотря на интенсивные блики, тени и сложные отражения на поверхности линзы, система непрерывно и стабильно распознавала маркеры, обеспечивая устойчивое отслеживание взгляда. Это демонстрирует высокую пригодность технологии для реальных клинических и прикладных задач.

Обсуждение

Основной задачей данной работы являлось преодоление фундаментального ограничения современных систем отслеживания взгляда — нестабильности распознавания глазодвигательных признаков в естественных условиях.

Авторы предложили принципиально иной подход, основанный не на усложнении алгоритмов обработки изображения, а на усилении самих визуальных признаков, формируемых глазом с помощью косметической контактной линзы.

Использование:

• 12 пространственно распределённых зелёных маркеров — для повышения пространственной точности;
• красных динамических маркеров — для восстановления траекторий при быстрых движениях;
• стандартизированной геометрии — для 3D-оценки положения глаза,

позволило создать систему, устойчивую к вариабельности анатомии, освещения и углов наблюдения.

Ключевым преимуществом является то, что линзы изготавливаются с применением коммерческих материалов и технологий, соответствующих требованиям безопасности контактной коррекции зрения. Это существенно снижает барьер внедрения технологии в клиническую практику.

Выводы

В работе представлена новая технология отслеживания движений глаз, основанная на использовании косметических контактных линз с пространственно-хроматическим кодированием.

Показано, что предложенные линзы:

• обеспечивают распознавание признаков с точностью до 93% в сложных условиях освещения;
• достигают угловой точности менее 1°, соответствующей зоне фовеолярного зрения;
• допускают значительные отклонения положения камеры от оптической оси глаза;
• сохраняют биосо
  совместимость, комфорт и стандартные свойства мягких контактных линз.

Данная технология открывает новые перспективы для:

• клинической офтальмологии и нейроофтальмологии;
• функциональной диагностики зрения;
• исследований внимания и когнитивных процессов;
• интерфейсов человек–машина и смешанной реальности.