Σε ένα ορθογώνιο ταψί φούρνου 40x33 εκ., στρώνουμε λαδόκολλα.
Προσθέτουμε στο ταψί το κομμένο αρνάκι, τις πατάτες, τον χυμό και το ξύσμα λεμονιού, το ψιλοκομμένο σκόρδο, τα φύλλα από τα μυρωδικά, τη ρίγανη, τη μουστάρδα, το μέλι, το ελαιόλαδο, αλάτι και πιπέρι.
Ανακατεύουμε καλά με τα χέρια μας, ώστε να μαριναριστούν τα υλικά και να ενωθούν οι γεύσεις.
Ψήνουμε στη μεσαία σχάρα του φούρνου για 1 ώρα.
Βγάζουμε το ταψί από τον φούρνο και σπάμε από πάνω τη φέτα σε μέτρια κομμάτια, φροντίζοντας να μοιραστεί ομοιόμορφα.
Συνεχίζουμε το ψήσιμο για ακόμη 20 λεπτά, μέχρι να ροδίσει το φαγητό και να μοσχομυρίσει το σπίτι.
Σερβίρουμε το αρνάκι ζεστό, ιδανικά με φρυγανισμένο ψωμί.