Разработка студентки СГУГиТ для визуализации тактильных исследований

В Сибирском государственном университете геосистем и технологий на протяжении долгих лет тестируется создание тактильных карт и вспомогательных средств для восприятия картографического продукта людьми с ОВЗ по зрению.

Обучение географии и картографии для людей с ОВЗ является большой проблемой как для нашей страны, так и для всего мира в целом. Процент людей данной категории, к сожалению, немаленький. В процессе адаптации и познания мира они получают информацию, используя тактильные рецепторы, расположенные на подушечках пальцев. Одним из основных материалов, при помощи которого происходит процесс обучения незрячих и слабовидящих людей является тактильная карта, изготавливаемая из микрокапсульной бумаги. Но подобное средство тактильного исследования не имеет в своём устройстве блока сбора и анализа данных. Это значит, что при работе с незрячим человеком, наставнику очень сложно оценить степень полноты и правильности полученной им информации с карты из-за отсутствия метода визуализации тактильных исследований человека.

Обучающаяся СГУГиТ Фролова Маргарита представила свой проект «Модуль для визуализации тактильных исследований человека для людей с ОВЗ по зрению». Использоваться модуль может с любыми материалами для их обучения и адаптации (тактильный карты из микрокапсульной бумаги, звуковые карты, 3D карты, карты материалов и пр.). Наставник, работающий с человеком данной категории, при помощи модуля сможет обоснованно корректировать процесс получения знаний, основываясь не только на своих наблюдениях, но и на визуализации тактильных исследований ученика.

Модуль визуализации работает с применением технологии компьютерного зрения. После запуска ПО запускается бесконечный видеопоток с веб-камеры. На каждом кадре этого видеопотока при помощи ML и задач регрессии определяется 21 опорная точка руки в 3D пространстве (1 в центре основания ладони и по 4 на каждом пальце). Далее определяются пиксельные координаты каждой из вершин (подушечек) пальцев и формируется в DataFrame. Эта собранная и структурированная информация передаётся в класс визуализации.

Для визуализации тактильных исследований человека выбран такой метод, как тепловая карта. Это графическое представление данных, где индивидуальные значения из DataFrame отображаются при помощи цвета (теплового градиента). В нашем случае, при помощи цвета будут отображаться области на тактильной карте, где человек проводил подушечками пальцев. Синим или фиолетовым цветом отображаются те места, которых человек не касался. Красным – те, где провёл больше всего времени во время исследования.

Решение проблемы визуализации тактильных исследований человека может вывести процесс обучения и адаптации людей с ОВЗ на новый уровень. В перспективе у Маргариты развернуть свой проект в масштабную среду для адаптации и обучения людей с ОВЗ по зрению. На данный момент проходит разработка плана реализации и внедрения функции подключения ПО к нескольким картам. Наставник во время урока сможет переключаться между картами учеников, контролировать процесс обучения, а построенные тепловые карты можно будет сохранить и распечатать.