Stefan Geiger

BEng Industrial Engineering Mechatronics
BEng Peirianneg Ddiwydiannol

Use of AI and Vision for security purposes.

Defnyddio AI a Gweledigaeth at ddibenion diogelwch.

In this dissertation, a mechatronic system was developed that can be used to detect dangerous
situations with the help of computer vision and AI. A Kinect v2 camera was used for this system.
This makes it possible to track the body posture of people and examine whether they are in a
threatening position. The tracking of people's skeletal data was realised in the programming language
Processing 3. In addition, the Deep Learning model YOLOv4 was trained to detect the three
classes "Knife", "Pistol" and "Rifle". This allows object detection through a Python program that
imports the OpenCV library. This Python code also evaluates the skeleton data. In this way, a twostage
evaluation can take place via the object detection as well as the posture tracking in order to
recognise whether a dangerous situation is taking place.

Yn y traethawd hir hwn, datblygwyd system mecatronig y gellir ei defnyddio i ganfod sefyllfaoedd peryglus gyda chymorth gweledigaeth gyfrifiadurol ac AI. Defnyddiwyd camera Kinect v2 ar gyfer y system hon. Mae hyn yn ei gwneud yn bosibl olrhain ystum corff pobl ac archwilio p’un a ydynt mewn sefyllfa fygythiol. Gwireddwyd olrhain data sgerbwd pobl yn yr iaith rhaglennu Processing 3. Yn ogystal, hyfforddwyd y model Dysgu Dwfn YOLOv4 i ganfod y tri dosbarth "Knife", "Pistol" a "Rifle". Mae hyn yn caniatáu canfod gwrthrychau drwy raglen Python sy'n mewnforio'r llyfrgell OpenCV. Mae'r cod Python hwn hefyd yn gwerthuso'r data sgerbwd. Fel hyn, gellir cynnal gwerthusiad dau gam drwy ganfod gwrthrychau yn ogystal ag olrhain ystum er mwyn cydnabod a oes sefyllfa beryglus yn digwydd.