Брайан родился в Сиднее в семье пианиста Джона (Джека) и домохозяйки Молли Браун. Он вырос в юго-западном пригороде Сиднея — Бэнкстауне и начал работать в AMP. Позже начал выступать в любительских спектаклях, где и обнаружил страсть к актёрству. С 1990-х годов по наше время Браун снимается в американских и австралийских фильмах и постановках, а также в британских рекламных роликах.