Родился 13 октября 1937 года в Париже, Франция. Настоящее имя — Самуэль. Вырос в еврейской семье. Родители были депортированы во время нацистской оккупации Франции и судьба их неизвестна. Воспитывали Сами Фрея бабушка и тетя. Окончил театральные курсы Рене Симона в 1957 году. Дебютировал в кино в фильме Робера Оссейна. Первую крупную роль исполнил в фильме Анри-Жоржа Клузо «Истина» (1960).