Αφήνουμε τα αυγά και το βούτυρο σε θερμοκρασία δωματίου. Σε ένα μπλέντερ βάζουμε τα φουντούκια και τα χτυπάμε μέχρι να γίνουν σκόνη. Παίρνουμε το ξύσμα του λεμονιού και του πορτοκαλιού. Στύβουμε το πορτοκάλι και κρατάμε τον χυμό. Προθερμαίνουμε τον φούρνο στους 180°C. Ξεχωρίζουμε τους κρόκους από τα ασπράδια. Αναμιγνύουμε το αλεύρι με το baking powder. Βουτυρώνουμε ένα ταψί με διάμετρο 30 εκατοστών.

Με μίξερ, χτυπάμε το βούτυρο με τη ζάχαρη μέχρι να πάρουμε μια αφράτη κρέμα. Προσθέτουμε τους κρόκους έναν έναν και χτυπάμε σε μέτρια ταχύτητα. Προσθέτουμε το κονιάκ, και το ξύσμα λεμονιού και πορτοκαλιού και το φουντούκι. Προσθέτουμε εναλλάξ λίγο λίγο το αλεύρι με τον χυμό και το γάλα. Σε ένα άλλο μπολ χτυπάμε τα ασπράδια μέχρι να γίνουν σφιχτή μαρέγκα. Με μια ξύλινη κουτάλα προσθέτουμε λίγη λίγη την μαρέγκα στο μίγμα με απαλές κινήσεις μέχρι να ομογενοποιηθούν. Ρίχνουμε το μίγμα στο ταψί και ψήνουμε για περίπου 45 λεπτά. Εισχωρούμε μια οδοντογλυφίδα στο κέικ και αν βγει καθαρή, είναι έτοιμο. Αφήνουμε να κρυώσει για δέκα λεπτά και μεταφέρουμε σε μια πιατέλα. Πασπαλίζουμε με ζάχαρη άχνη.