Gesture controlled human-computer interface for the disabled

Med Pr. 2017 Feb 28;68(1):11-21. doi: 10.13075/mp.5893.00529. Epub 2017 Feb 24.

Abstract

Background: The possibility of using a computer by a disabled person is one of the difficult problems of the human-computer interaction (HCI), while the professional activity (employment) is one of the most important factors affecting the quality of life, especially for disabled people. The aim of the project has been to propose a new HCI system that would allow for resuming employment for people who have lost the possibility of a standard computer operation.

Material and methods: The basic requirement was to replace all functions of a standard mouse without the need of performing precise hand movements and using fingers. The Microsoft's Kinect motion controller had been selected as a device which would recognize hand movements. Several tests were made in order to create optimal working environment with the new device. The new communication system consisted of the Kinect device and the proper software had been built.

Results: The proposed system was tested by means of the standard subjective evaluations and objective metrics according to the standard ISO 9241-411:2012. The overall rating of the new HCI system shows the acceptance of the solution. The objective tests show that although the new system is a bit slower, it may effectively replace the computer mouse.

Conclusions: The new HCI system fulfilled its task for a specific disabled person. This resulted in the ability to return to work. Additionally, the project confirmed the possibility of effective but nonstandard use of the Kinect device. Med Pr 2017;68(1):1-21.

Wstęp: Możliwość korzystania z komputera przez osoby niepełnosprawne jest jednym z trudniejszych problemów interakcji człowiek–komputer, natomiast aktywność zawodowa (zatrudnienie) należy do najważniejszych czynników wpływających na jakość życia, szczególnie osób niepełnosprawnych. Celem pracy było zaproponowanie nowego systemu sterowania komputerem pozwalającego na powrót do pracy osobom, które straciły możliwość standardowej obsługi komputera.

Materiał i metody: Podstawowym założeniem nowego systemu było zastąpienie standardowej myszy komputerowej urządzeniem, które nie wymaga wykonywania precyzyjnych ruchów ręką i palcami. W pracy skorzystano z kontrolera Microsoft Kinect jako urządzenia rozpoznającego ruchy rąk. Przeprowadzono badania wstępne w celu określenia optymalnych warunków pracy nowego urządzenia i opracowano nowy system składający się z kontrolera Kinect i oprogramowania do niego.

Wyniki: System został przetestowany z wykorzystaniem standardowej oceny subiektywnej i obiektywnej zgodnie z normą ISO 9241-411:2012. Ogólna ocena nowego systemu wskazuje na akceptację proponowanego rozwiązania przez badanych. Obiektywne testy pokazują, że nowy system – choć jest nieco wolniejszy od standardowego – może skutecznie zastąpić mysz komputerową.

Wnioski: Nowy system interakcji człowiek–komputer spełnił swoje zadanie dla konkretnej osoby niepełnosprawnej, czyli umożliwił sterowanie komputerem, a tym samym powrót do pracy. Dodatkowo badanie potwierdziło możliwość skutecznego niestandardowego wykorzystania urządzenia Kinect. Med. Pr. 2017;68(1):1–21.

Keywords: Microsoft Kinect; employment; gesture control; human–computer interaction; physical disability; quality of life.

MeSH terms

  • Brain-Computer Interfaces
  • Computer-Aided Design*
  • Disabled Persons / rehabilitation*
  • Equipment Design
  • Gestures*
  • Humans
  • Occupational Health Services
  • Signal Processing, Computer-Assisted / instrumentation*
  • User-Computer Interface*