Assignment
Currently in the field of inference frameworks for mobile platforms several solutions dominates - TensorFlow Lite, ONNX Runtime and PyTorch Mobile. Every defines its own file format for storing the trained model architecture and parameters. There is a limited support for conversion between those formats, which make it difficult to share trained models between them.
Explore the file formats used by inference frameworks for mobile platforms. Focus on set of operators, model parameters (weights) storage and quantization support. Analyze the possibility of mapping individual operators between them.
Design and implement a converter for trained model conversion. Converter shall primarily support conversion from ONNX format to TensorFlow Lite.
Evaluate the converter functionality on various model architectures for image classification, object detection, semantic segmentation and audio processing tasks.
Assignment CZ/SK
V súčasnosti v oblasti inferenčných frameworkov pre mobilné platformy dominuje niekoľko riešení - TensorFlow Lite, PyTorch Mobile a ONNX Runtime. Každý z nich definuje vlastný formát súboru na ukladanie natrénovaných modelov. Podpora konverzie medzi nimi nie je dostatočná. Tento fakt znemožňuje zdieľanie natrénovaných modelov medzi jednotlivými frameworkami.
Preskúmajte formát súboru jednotlivých inferenčných frameworkov strojového učenia pre mobilné platformy. Zamerajte sa na sadu podporovaných operátorov, spôsob uloženia parametrov (váh) a podporu kvantizácie. Preskúmajte možnosti mapovania operátovov medzi frameworkami.
Navrhnite a implementujte konvertor natrénovaných modelov medzi formátmi. Konvertor by mal primárne podporovať prevod z formátu ONNX do formátu TensorFlow Lite.
Funkčnosť konvertoru overte na rozličných architektúrach modelov pre úlohy klasifikácie, detekcie, segmentácie obrazu a modelov pre analýzu zvukových dát.
Language
CZ/SK/EN
Leaders
Róbert Kalmár
Contact
University team NXP Semiconductors CZ
