Онлайн курсы набирают силу в эти дни. Но они не так эффективны, как преподавание в классе. Поэтому в Shri Ramdeobaba College of Engineering and Management (Шри Рамдеобаба Колледж Разработки и Управления) разработали приложение для интерактивных онлайн-курсов. Внедрена система обнаружения сонливости, которая использует концепцию соотношения сторон уха и пропорции рта, и она проверена с использованием предварительно обученной модели ResNet50.
Как только слушатель курса обнаруживает сонливость, вопросы генерируются с использованием обработки естественного языка на основе видео, просмотренного до этого. Если посетитель ответит на вопрос неправильно, будет наложен штраф, иначе видео возобновится. Наивысшая достигнутая точность обучения составила 97%, а наивысшая точность подтверждения составила 94%.
Ключевые слова: Deep Learning, NLP, ResNet50, CNN, соотношение сторон ушей, Dlib, формирование вопросов, spaCy, обнаружение сонливости, онлайн-курс.
Основным источником получения знаний являются онлайн-курсы, потому что онлайн-курсы экономичны, гибки, имеют множество курсов на выбор, обеспечивают комфортные условия и позволяют каждому получить доступ к курсам, проводимым известными профессорами из уважаемых университетов. Тем не менее, онлайн-курсы менее коммуникативны по сравнению с преподаванием в классе. Всякий раз, когда учитель обнаруживает, что ученик невнимателен из-за сонливости, он может вернуть интерес ученика, задав ему вопросы, относящиеся к теме. На онлайн-курсах нет такого двустороннего общения между преподавателем и слушателем. Другими словами, никто не может отслеживать поведение студентов во время проведения курса. Чтобы преодолеть эту проблему, мы разработали модуль. Этот модуль способен обнаруживать сонливость.
Был собран набор данных, состоящий из 167 изображений 50 предметов. Набор данных был аннотирован на две категории, а именно сонливость и не сонливость. Изображения в наборе данных были предварительно обработаны. Так как набор данных был довольно маленьким, мы дополнили изображения, чтобы создать больший набор данных, состоящий из 1670 изображений.
Чтобы определить, является ли человек сонным, было рассчитано его / ее соотношение размеров ушей и рта [1]. Это было сделано путем извлечения соответствующего лицевого блока действий. Чтобы проверить, были ли правильно рассчитаны соотношения сторон уха и рта, был сделан снимок этого экземпляра. Захваченное изображение служит тестовым примером для нашей предварительно обученной модели Convolution Neutral Network (CNN). Было отмечено, что ResNet50 работал сравнительно лучше, чем другие предварительно обученные модели [2], которые мы внедрили (MobileNet, GoogleNet и т.д.). ResNet50 — это 50-уровневая свёрточная нейтральная сеть, обученная более чем миллиону изображений в базе данных ImageNet [3, 4]. Первоначально сеть классифицировала изображения на 1000 категорий объектов. Мы изменили сеть, чтобы классифицировать изображения по необходимым категориям (сонливость, а не сонливость).
Когда пользователь обнаруживает сонливость, вызывается модуль формирования вопросов. Этот модуль сгенерировал заполнение пустых вопросов типа, относящихся к содержанию видео, охватываемого до этого экземпляра. Графический интерфейс позволяет пользователям отвечать на несколько вопросов, если они хотят, потому что одного вопроса может быть недостаточно, чтобы привлечь их внимание.
Выводы
В этой статье представлен модуль, который обнаруживает сонливость посетителя онлайн-курса. Модуль автоматически генерирует соответствующие пустые вопросы о видео, если посетитель обнаруживает сонливость. В зависимости от ответов на все вопросы, пользователь получит либо поощрение, либо штрафы. Это попытка сделать онлайн-курсы более эффективными и полезными.
Лицевые признаки сонливости, такие как положение века и зевание, были обнаружены с использованием соотношения сторон глаз и рта и модели CNNet ResNet50. Наш модуль прошел обучение по самодельному набору данных с точностью обучения 97% и точностью проверки 94%. Вопросы были сгенерированы с использованием библиотеки NLP Spacy. Произведенные вопросы были основаны на стенограмме видео.
Этот модуль можно использовать как расширение для поставщиков онлайн-курсов, чтобы следить за внимательностью пользователя и делать курсы более интерактивными и эффективными. Модуль также может быть использован для генерации анализа курсов. Например, часть видео, где большинство его зрителей были обнаружены сонливыми, может быть просмотрена поставщиками курса. Таким образом, отчет об анализе видео может быть создан для поставщиков курса вместе с предложениями по улучшению.
Использованные источники
- Joseph Sazon. Driver’s Attention Monitoring System with Low Light Capability, International Journal of Advanced Trends in Computer Science and Engineering, Vol. 8, No. 4, pp. 1153-1158, 2019. doi.org/10.30534/ijatcse/2019/50842019
- Md ZahangirAlom, Tarek Taha, Chris Yakopcic, Stefan Westberg, PahedingSidike, MstShamima Nasrin, Brian C Van Essen, Abdul A S. Awwal, and Vijayan K. Asari. The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches. 2017.
- Berg, J. Deng, and L. Fei-Fei. Large scale visual recognition challenge 2010. imagenet.org/challenges. 2010.
- Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei- Fei. ImageNet: A Large-Scale Hierarchical Image Database. In CVPR09, 2009. doi.org/10.1109/CVPR.2009.5206848
Drowsiness Detection System for Online Courses
Umang Lahoti, Rakshita Joshi1, Nupur Vyas, Kashmira Deshpande, Sweta Jain