Πλένουμε και καθαρίζουμε τις πατάτες από τις φλούδες. Τις κόβουμε σε μικρά κομμάτια ίδιου μεγέθους και τις αραδιάζουμε σε ταψί. Προθερμαίνουμε το φούρνο στους 180oC.

Πασπαλίζουμε τις πατάτες με αλάτι, φρεσκοτριμμένο πιπέρι και ρίγανη. Ραντίζουμε με ελαιόλαδο, να πάει παντού. Σε μπολάκι ανακατεύουμε το χυμό λεμονιού, το χυμό πορτοκαλιού και τη μουστάρδα. Περιχύνουμε με το μείγμα τις πατάτες και ανακατεύουμε απαλά, ώστε να ενωθούν τα υλικά. Βάζουμε το ταψί με τις πατάτες στο φούρνο και τις ψήνουμε για περίπου 50 λεπτά στους 180oC. Εντωμεταξύ βάζουμε σε μπολ τον κιμά, αλάτι και φρεσκοτριμμένο πιπέρι, τη ρίγανη, το ελαιόλαδο, τη φρυγανιά, το αυγό, το ξύδι, το μαϊντανό και το κρεμμύδι και ζυμώνουμε με τα χέρια μας για 5 λεπτά, ώστε να ενωθούν καλά τα υλικά. Βάζουμε τον κιμά στο ψυγείο για 30 λεπτά. Βγάζουμε το ταψί με τις πατάτες από το φούρνο. Παίρνουμε μπαλίτσες από τον κιμά. Σε κάθε μπαλίτσα βάζουμε από ένα κομμάτι φέτας και το πλάθουμε σε μπιφτέκι, ώστε να καλυφθεί. Τοποθετούμε τα μπιφτέκια πάνω στις πατάτες. Ανεβάζουμε τη θερμοκρασία στους 200oC και ψήνουμε τα μπιφτέκια με τις πατάτες για 25-30 λεπτά.