Καθαρίζουμε καλά το μπουτάκι από τυχόν τρίχες. Καθαρίζουμε τα σπαράγγια, σπάζοντας τα με το χέρι στο σημείο που σπάνε από μόνα τους.
Πλένουμε, καθαρίζουμε και κόβουμε τις πατάτες.
Αλατίζουμε πολύ καλά το αρνάκι και το τοποθετούμε σε ένα πυρίμαχο σκεύος.
Σκορπάμε τα λαχανικά γύρω γύρω, τα αλατοπιπρώνουμε και πασπαλίζουμε με ρίγανη. Ραντίζουμε με ελαιόλαδο και ρίχνουμε στο ταψί μισό φλιτζάνι νερό.
Ψήνουμε σε προθερμασμένο φούρνο στους 200oC για 1 ώρα. Καλύπτουμε με αλουμινόχαρτο, σκορπάμε την φέτα στα λαχανικά και ψήνουμε για άλλα 30 λεπτά στους 180οC.
Σερβίρουμε αμέσως.