Trois des membres autres que le président sont désignés respectivement par le président de l'Assemblée nationale, le président du Sénat et le président du Conseil économique, social et environnemental. La durée du mandat des membres désignés par les présidents des assemblées parlementaires et du Conseil économique, social et environnemental est fixée, par tirage au sort, à deux, quatre et six ans. La durée du mandat des trois autres membres est fixée par tirage au sort à deux, quatre et six ans. En cas de vacance d'un siège de membre du collège, il est procédé à son remplacement pour la durée du mandat restant à courir. Un mandat exercé pendant moins de deux ans n'est pas pris en compte pour l'application de la règle de non-renouvellement.

Les fonctions des autres membres du collège sont incompatibles avec tout mandat électif départemental, régional, national ou européen et toute détention, directe ou indirecte, d'intérêts dans une entreprise du secteur du transport ferroviaire. Les membres du collège ne prennent, à titre personnel, aucune position publique sur des sujets relevant de la compétence de l'autorité. Sans préjudice de la possibilité, pour tout membre du collège, de se déporter dans toute affaire dans laquelle il l'estimerait nécessaire, aucun membre ne peut délibérer dans une affaire dans laquelle il a ou a eu un intérêt au cours des trois années précédant la délibération ; cette interdiction s'applique également lorsque, au cours de la même période, un membre a détenu un mandat ou exercé des fonctions de direction, de conseil ou de contrôle au sein d'une personne morale ayant eu intérêt à cette affaire. Les membres du collège ne sont pas révocables, sous réserve des dispositions suivantes : 1° Tout membre qui ne respecte pas les règles d'incompatibilité prévues au présent article est déclaré, après consultation du collège, démissionnaire d'office par décret ; 2° Il peut être mis fin aux fonctions d'un membre en cas d'empêchement constaté par le collège, dans les conditions prévues par le règlement intérieur de l'autorité ; 3° Il peut également être mis fin aux fonctions d'un membre en cas de manquement grave à ses obligations, par décret pris sur proposition du collège.