Protocole
Démarche de la construction du protocole d’expérimentation césar
Les tests de notre prototype nécessitent un protocole clair et précis permettant d’évaluer ces performances et de valider (ou non) nos hypothèses. La particularité de notre protocole et qu’il doit dans un premier temps nous permettre de tester l’efficacité de notre outil. Pour cela nous avons essayé de trouver des références, des informations à toutes les échelles pour l’élaboration de notre protocole :
- A l’échelle international via les normes ISO, ISO 9001 notamment.
- A l’échelle Européen, en inspectant le règlement UE n°167/2013 du parlement européen et du conseil du 5 février 2013, relatif à « la réception et à la surveillance du marché des véhicules agricoles et forestiers ».
- A l’échelle de la France qui ne distribue pas de certification à proprement parlé mais qui reconnait des organismes capables de certifier des véhicules, des engins, etc…
- A l’échelle de ces organismes capable de certifier comme UTAC CERAM qui évalue, via des tests, si l’objet testé respecte les normes de sécurité et d’environnement. Ou encore CETIM qui va plus loin en testant aussi la fiabilité et la productivité de l’objet comme dans l’exemple de la base robot industriel « MIP Robotics ». Ils proposent également leurs service pour de l’aide à la conception et simulation (produits et procédés, calcul et dimensionnement, intégration de paramètres spécifiques), des essais produits et procédés (choix et caractérisation des matériaux, surfaces et traitements, essais - fiabilisation produits), des contrôle et mesure (étalonnage, audits et diagnostics, contrôle des matériaux, produits et équipements, matériel de mesure), des expertise des défaillances (matériaux, pièces et composants, installations industrielles).
- A l’échelle des acteurs autour de notre domaine d’étude : Rob’agri et Naïo Technologies (même si nous ne testons pas un robot mais un outil) qui évoque le sujet et monte des projets de normalisation et d’élaboration de protocoles pour tester des robots et des outils. Projets qui en l’état actuel n’ont pas publié de résultats sur leurs avancées.
- A l’échelle de projet d’étude, comme le nôtre, en cherchant de protocole, de situations similaires. Notamment le projet « évaluation outil robotique pour le désherbage et suivi de culture bio intensive » ou encore le protocole d’essai du prototype de Strip till conçu par la promotion AENT 158 d’UniLaSalle Beauvais.
En synthèse, ces documents nous ont permis d’élaborer notre protocole d’essai pour l’outil césar bien que nous n’ayons pas trouvé véritablement de standard à respecter ni pour l’outil, ni pour l’élaboration de nos tests et la mise en place de nos essais, puisque dans notre cas nous développons un outil bien spécifique, pas encore industrialisé ou commercialisé. De plus pour la partie prototype, chaque outil/concept étant différent il est difficile de trouver des références sur des protocoles voué à tester des prototypes, en sachant qu’il est assez difficile de classer César dans des catégories de véhicule car non motorisé. Les normes actuelles qui régissent la majorité des protocoles de test sont plutôt des domaines de l’environnement et de la sécurité, non de l’efficacité de l’outil comme c’est le cas pour notre projet. Certain organisme, privé pour la plupart, réalise des tests d’efficacité mais les protocoles ne sont pas communiqués. Les acteurs du secteur travaillent sur le sujet mais n’ont pas encore publié de résultats. Les projets d’étude, similaire, et l’ensemble de nos recherches nous ont permis de pousser plus loin nos réflexions de protocole.
Afin de tester la fiabilité de notre outil le plus cohérent pour nous restait de tester une fréquence de réussite. Le protocole est là pour poser les règles de la réussite et de l’échec dans le cas de tests de l’outil César. Tout en ayant un objectif de fréquence de réussite de 90%, basé sur le seuil d’adoption d’une solution par des agriculteurs français (SMAG : Webinaire : “Découvrez l’intelligence artificielle au service de l'agriculture”, auteur ???).
Sources
AGRICOLE, S. LA FILIERE ROBOTIQUE. Actions conduites. In : RobAgri en ligne. Date de consultation : 07/05/2020. Disponible sur : https://www.robagri.fr/
CALLI, B., WALSMAN, A., SINGH, A., SRINIVASA, S., ABBEEL, P., ET DOLLAR, A.M., 2015. Benchmarking in Manipulation Research: Using the Yale-CMU-Berkeley Object and Model Set. IEEE Robotics Automation Magazine, volume 22, n° 3. p. 36-52.
COVR - being safe around collaborative and versatile robots in shared spaces. en ligne. Date de consultation : 07/05/2020. Disponible sur : https://safearoundrobots.com/awards
EUR-Lex - 32013R0167 - EN - EUR-Lex. en ligne. Date de consultation : 07/05/2020. Disponible sur : https://eur-lex.europa.eu/eli/reg/2013/167/oj/fra
ISO - Certification & conformité.. In : ISO en ligne. Date de consultation : 07/05/2020. Disponible sur : https://www.iso.org/fr/conformity-assessment.html
ISO/CASCO - Comité pour l’évaluation de la conformité.. In : ISO en ligne. Date de consultation : 07/05/2020. Disponible sur : https://www.iso.org/cms/render/live/fr/sites/isoorg/contents/data/committee/05/49/54998.ht ml
MIP Robotics - Cetim - Centre technique des industries mécaniques. en ligne. Date de consultation : 07/05/2020. Disponible sur : https://www.cetim.fr/Prestations/References/MIP-Robotics/(language)/fre-FR
Normalisation des robots agricoles : un enjeu de performance et de sécurité., 2019. Naïo Technologies Date de consultation : 07/05/2020. Disponible sur : https://www.naiotechnologies.com/normalisation-des-robots-agricoles-un-enjeu-de-performance-et-desecurite/
Protocoles et repères | Repères YCB - Ensemble d’objets et de modèles. Date de consultation : 07/05/2020. Disponible sur : http://www.ycbbenchmarks.com/protocols-and-benchmarks/
Reconnaissances - Cetim - Centre technique des industries mécaniques. en ligne. Date de consultation : 07/05/2020. Disponible sur : https://www.cetim.fr/LeCetim/Reconnaissances. UTAC CERAM. en ligne. Date de consultation : 07/05/2020. Disponible sur : https://www.utacceram.com/fr/
Wiki - Strip-Till - Espace Projets AgriLab. en ligne. Date de consultation : 07/05/2020. Disponible sur : http://agrilab.unilasalle.fr/projets/projects/strip-till/wiki