Van pilot naar productie: 21 checks

Waarom je dit nergens anders vindt

De MLOps-checklists die rondgaan zijn geschreven voor teams met een platformafdeling. Deze is geschreven voor een team van vijf dat een AI-functie in bestaande software moet krijgen, met een security officer die meekijkt en een budget dat niet meebeweegt met tokengebruik. Elke check heeft de faalmodus erbij die hem heeft opgeleverd, en drie checks staan erin omdat wij ze zelf te laat hebben geleerd.

Wat erin zit

• 1Zes checks op gedrag: evaluatieset, drempelwaarde, gedrag bij lage zekerheid, versiebeheer en regressie bij een modelupdate
• 2Vijf checks op grenzen, elk gekoppeld aan wat een security officer of een DPIA erover gaat vragen
• 3Vier checks op kosten en belasting, met de rekenregel die vooraf inschat en waar die altijd te laag uitvalt
• 4Zes checks op zicht en ingrijpen, inclusief de twee die het vaakst ontbreken en het duurst zijn als je ze mist
• 5Een scoreblad met drie uitkomsten, en de drie checks die blokkerend zijn ongeacht de score

Voor wie

• CTO's, IT-directeuren en Heads of Digital bij organisaties vanaf vijftig mensen
• Teams die een AI-functie in bestaande software moeten krijgen, niet ernaast
• Iedereen die een pilot heeft die demonstreert en niet livegaat

Niet voor wie nog moet uitzoeken wat AI is. Dit begint bij een team dat al bouwt.