Projekt NCK CAMEB

Software pro automatizovanou přípravu datasetů z 3D dat stavebních prvků pro strojové učení rozpoznávacího algoritmu a úsporu manuální práce

Cílem projektu byla problematika rozpoznání definovaných stavebních (nebo jiných) objektů v dynamicky nasnímané scéně pomocí aplikování metod umělé inteligence. Součástí řešení projektu byla analýza, návrh detailní metodiky přípravy, vzorové projekty pro automatizaci přípravy trénovací sady obrázků a anotací pro AI-based rozpoznání a praktické ověření takto dávkově generovaného obsahu pro použití rozpoznání pomocí YOLO v3.

Anotace

Technologie rozpoznání obrazu s využitím umělé inteligence se dnes již využívá v mnoha oblastech a existuje množství komplexních řešení. Nicméně pro správné fungování a přesné rozpoznání konkrétních patternů v obraze je klíčový proces trénování a tvorba odpovídající neuronové sítě. V případě specifických custom objektů například ve stavebnictví je problém získat jednoduše dostatečně velkou anotovanou množinu trénovacích dat. Proto se nabízí možnost generování trénovací sady s využitím renderovacího engine a odpovídajícími parametry ovlivnit polohu, úhel, osvětlení, pozadí a další tak, aby vznikla rozmanitá sada vhodných pozitivních pohledů. Stejně tak je možné generovat negativní výskyty, které AI-based rozpoznání využívá pro zamezení nežádoucí pozitivity výskytu. Pro konkrétní nástroj je pak potřeba dodat metadata, která obsahují anotace daných tříd a jejich výskytu ve výsledném obrázku.
Díky tomu je možné zcela odstranit ruční zásah člověka do procesu učení a dosáhnout plné automatizace celého procesu s využitím dostupných nástrojů.

Pro efektivní automatizaci trénovacího procesu pro YOLO rozpoznání objektů v dynamické scéně bylo vytvořeno SW řešení umožňující pomocí pluginů a scriptů provést optimalizaci přípravy obrazových dat a metasouborů s anotacemi pomocí nástroje Unreal Engine.

V rámci projektu byl připraven modelový objekt sedačky na tramvajové zastávce. Došlo ke zdokumentování celého postupu práce, včetně všech použitých optimalizačních metod a konkrétního nastavení potřebných parametrů. Zároveň byly demonstrovány dílčí výsledky a přesnost rozpoznání pomocí YOLO v3.

Ukázka ověření

Ke stažení

Autoři

Jan Kočí, Daniel Hančil, Milan Zdvyhal
Institut pro nanomateriály, pokročilé technologie a inovace (CXI), Technická univerzita v Liberci
Kontakt: jan.koci@tul.cz

Podpora

Projekt byl realizován za podpory Technologické agentury České republiky (TAČR) v programu Národní centra kompetence 1 (NCK 1) jako projekt Centrum pokročilých materiálů a efektivních budov (CAMEB), registrován pod číslem TN01000056.