Nació en el seno de una familia pobre de Misisipi. Se graduó con el segundo mejor promedio de su escuela secundaria a pesar de la segregación racial y obtuvo un título universitario en la Universidad Estatal de Ohio. Sintió fascinación por los aviones desde niño y se alistó en la Armada de los Estados Unidos en 1946, convirtiéndose en guardiamarina. Brown consiguió sus alas de piloto el 21 de octubre de 1948, logro del que la prensa de la época se hizo amplio eco. En enero de 1949 fue destinado al Escuadrón n.º 32 de Caza y Ataque a bordo del portaavionesUSSLeyte, donde llegó a ser jefe de escuadrilla.
El edificio es un ejemplo del estilo neogótico. Una de las características más notables del palacio es la torre del reloj, una atracción turística que alberga la campana llamada Big Ben, nombre asignado erróneamente al reloj de la torre.