Με σκοπό να αυξήσουμε την αναπαραγωγιμότητα και να δώσουμε τη δυνατότητα σε άλλους να αξιοποιήσουν πιο εύκολα τη δημοσιευμένη εργασία, παρουσιάζουμε μια λίστα ελέγχου πληρότητας κώδικα ML. Η λίστα ελέγχου πληρότητας κώδικα ML αξιολογεί την αποθήκευση κώδικα με βάση τα σενάρια και τα αντικείμενα που παρέχονται σε αυτό.
Εισαγωγή
Πέρυσι, ο Joel Pino κυκλοφόρησε μια λίστα ελέγχου αναπαραγωγιμότητας για να διευκολύνει την αναπαραγωγική έρευνα που παρουσιάστηκε σε μεγάλα συνέδρια της ΟΑ (NeurIPS, ICML,…). Τα περισσότερα από τα στοιχεία της λίστας ελέγχου εστιάζουν στα στοιχεία του χαρτιού. Ένα στοιχείο σε αυτήν τη λίστα ελέγχου είναι "παροχή συνδέσμου προς τον πηγαίο κώδικα", αλλά εκτός από αυτό, έγιναν μερικές προτάσεις.
Οι βέλτιστες πρακτικές συνοψίστηκαν στη λίστα ελέγχου πληρότητας κώδικα ML, η οποία αποτελεί πλέον μέρος της επίσημης διαδικασίας υποβολής κώδικα NeurIPS 2020 και θα είναι διαθέσιμη για χρήση από τους αναθεωρητές, όπως κρίνουν κατάλληλο.
Λίστα ελέγχου πληρότητας ML
Η λίστα ελέγχου πληρότητας M Code ελέγχει το κατάστημα αποθήκευσης κώδικα για:
- Εξαρτήσεις - Το αποθετήριο διαθέτει πληροφορίες εξάρτησης ή οδηγίες σχετικά με τον τρόπο ρύθμισης του περιβάλλοντος;
- Εκπαιδευτικά σενάρια - Περιλαμβάνει ο χώρος αποθήκευσης έναν τρόπο εκπαίδευσης / προσαρμογής των μοντέλων που περιγράφονται στο έγγραφο;
- Σενάρια αξιολόγησης - Περιλαμβάνει το αποθετήριο ένα σενάριο για τον υπολογισμό της απόδοσης των εκπαιδευμένων μοντέλων ή της εκτέλεσης πειραμάτων σε μοντέλα;
- Προκαθορισμένα μοντέλα - Το αποθετήριο παρέχει δωρεάν πρόσβαση σε προκαθορισμένα βάρη μοντέλου;
- Αποτελέσματα - περιέχει το αποθετήριο έναν πίνακα / γράφημα των κύριων αποτελεσμάτων και ένα σενάριο για την αναπαραγωγή αυτών των αποτελεσμάτων;
Κάθε αποθετήριο μπορεί να λάβει από 0 (δεν έχει) έως 5 (έχει όλα) τα τσιμπούρια. Περισσότερες πληροφορίες σχετικά με τα κριτήρια για κάθε στοιχείο μπορείτε να βρείτε στο αποθετήριο Github.
Ποια είναι τα στοιχεία ότι τα στοιχεία της λίστας ελέγχου συμβάλλουν σε πιο χρήσιμα αποθετήρια
Η κοινότητα χρησιμοποιεί γενικά τα αστέρια GitHub ως πληρεξούσιο για τη χρησιμότητα του αποθετηρίου. Επομένως, τα repos με υψηλότερο σκορ στη λίστα ελέγχου πληρότητας ML αναμένεται να έχουν επίσης περισσότερα αστέρια GitHub. Για να δοκιμάσετε αυτήν την υπόθεση, υποβλήθηκαν 884 repos GitHub ως επίσημες εφαρμογές στα έγγραφα NeurIPS 2019. Ένα υποσύνολο 25% αυτών των 884 repos επιλέχθηκε τυχαία και ελέγχθηκε χειροκίνητα στη λίστα ελέγχου πληρότητας ML. Ομαδοποίησαν αυτό το δείγμα NeurIPS 2019 GitHub repos με τον αριθμό των κροτώνων που έχουν στη λίστα ελέγχου πληρότητας κώδικα ML και χαρτογράφησαν τα μεσαία αστέρια GitHub σε κάθε ομάδα. Το αποτέλεσμα είναι παρακάτω:
Τα αποθετήρια NeurIPS 2019 με 0 πλαίσια ελέγχου είχαν διάμεσο 1,5 αστέρια στο GitHub. Αντίθετα, τα repos με 5 πλαίσια ελέγχου είχαν διάμεσο αστέρια GitHub 196,5. Μόνο το 9% των repos είχε 5 ticks και τα περισσότερα repos (70%) είχαν 3 ticks ή λιγότερο. Η δοκιμή αθροίσματος κατάταξης Wilcoxon πραγματοποιήθηκε και διαπίστωσε ότι ο αριθμός των αστεριών στην τάξη 5 τικ είναι σημαντικά (p.value <1e-4) υψηλότερος από ό, τι σε όλες τις άλλες κατηγορίες εκτός από 5 έναντι 4 (όπου η τιμή p.value είναι το όριο). στο 0,015). Μπορείτε να δείτε τα δεδομένα και τον κωδικό για αυτό το σχήμα στο αποθετήριο Github.
Για να ελέγξετε εάν αυτή η σχέση επεκτείνεται ευρύτερα, δημιουργήθηκε ένα σενάριο για την αυτοματοποίηση του υπολογισμού μιας λίστας ελέγχου από το αποθετήριο README και τον σχετικό κώδικα. Στη συνέχεια, αναλύσαμε ξανά ολόκληρο το σύνολο 884 αποθετηρίων NeurIPS 2019, καθώς και το ευρύτερο σύνολο αποθετηρίων κώδικα 8926 για όλα τα άρθρα ML που δημοσιεύθηκαν το 2019. Και στις δύο περιπτώσεις, οι ειδικοί πέτυχαν ένα ποιοτικά πανομοιότυπο αποτέλεσμα με τα μεσαία αστέρια να αυξάνονται μονοτονικά από τα τσιμπούρια με στατιστικά σημαντικό τρόπο (σελ. Τιμή <1e-4). Τέλος, χρησιμοποιώντας ισχυρή γραμμική παλινδρόμηση, βρήκαμε προκατασκευασμένα μοντέλα και αποτελέσματα που έχουν τη μεγαλύτερη θετική επίδραση στα αστέρια του GitHub.
Αυτό θεωρείται χρήσιμο στοιχείο από τους αναλυτές ότι η ενθάρρυνση των ερευνητών να συμπεριλάβουν όλα τα στοιχεία που απαιτούνται από τη λίστα ελέγχου πληρότητας ML θα οδηγήσει σε πιο χρήσιμα αποθετήρια και ότι η βαθμολογία στη λίστα ελέγχου υποδεικνύει υποβολές καλύτερης ποιότητας.
Επί του παρόντος, οι ειδικοί δεν ισχυρίζονται ότι τα προτεινόμενα 5 στοιχεία λίστας ελέγχου είναι ο μόνος ή ακόμη και ο πιο σημαντικός παράγοντας στη δημοτικότητα του αποθετηρίου. Άλλοι παράγοντες μπορούν να επηρεάσουν τη δημοτικότητα, όπως: μέγεθος επιστημονικής συνεισφοράς, μάρκετινγκ (π.χ. αναρτήσεις ιστολογίου και αναρτήσεις Twitter), τεκμηρίωση (περιεκτικές README, εκπαιδευτικά προγράμματα και τεκμηρίωση API), ποιότητα κώδικα και προηγούμενη εργασία.
Μερικά παραδείγματα αποθετηρίων NeurIPS 2019 με 5 πλαίσια ελέγχου:
Οι ειδικοί αναγνωρίζουν ότι παρόλο που έχουν προσπαθήσει να κάνουν τη λίστα ελέγχου όσο το δυνατόν πιο γενική, ενδέχεται να μην ισχύει πλήρως για όλους τους τύπους εγγράφων, για παράδειγμα, θεωρητικά ή σύνολα εγγράφων. Ωστόσο, ακόμη και αν ο κύριος σκοπός του άρθρου είναι να αντιπροσωπεύει ένα σύνολο δεδομένων, μπορεί να επωφεληθεί από την κυκλοφορία βασικών μοντέλων, συμπεριλαμβανομένων σεναρίων εκπαίδευσης, σεναρίων αξιολόγησης και αποτελεσμάτων.
Ξεκινήστε να χρησιμοποιείτε
Για να διευκολυνθεί η κατανόηση από τους αναθεωρητές και οι χρήστες τι υπάρχει στο αποθετήριο και για τους ειδικούς να το αξιολογήσουν σωστά, παρέχεται μια συλλογή βέλτιστων πρακτικών για τη σύνταξη αρχείων README.md, τον καθορισμό εξαρτήσεων και την κυκλοφορία προκαθορισμένων μοντέλων, συνόλων δεδομένων και αποτελεσμάτων. Συνιστάται να ορίσετε με σαφήνεια αυτά τα 5 στοιχεία στο αποθετήριό σας και να τα συνδέσετε με οποιονδήποτε εξωτερικό πόρο, όπως έγγραφα και πίνακες κατάταξης, ώστε να παρέχετε περισσότερο περιεχόμενο και σαφήνεια στους χρήστες σας. Αυτές είναι οι επίσημες οδηγίες για την υποβολή κωδικού στο NeurIPS 2020.
