15 Kasım 1922'de İtalya’nın Napoli kentinde doğdu. Gençliğinde Napoli'nin zengin entelektüel ve kültürel hareketliliğinden muazzam ölçüde etkilendi, bu etki daha sonraki işlerinde de kuvvetle sezi lir. Napoli'deki o ilk yıllarda edindiği dostların çoğu önde gelen entelektüeller oldu ve savaştan sonra Roma'da da yakın dostları olarak kaldı. Rosi çocukken amcalarından biri onu sirke, operetlere ve Napoli varyete tiyatrolarına götürerek tiyatro ve gösteri dünyasının tadını ilk kez tatmasını sağladı. Klasik liseye gitti, sonra Napoli Üniversitesi'nde hukuk öğrenimi gördü ve orasının anti-faşist havasından çok etkilendi. Rosi, belki de başarılı bir illüstratör olan babasının etkisiyle, çizgi romanlara büyük ilgi duydu ve Alice Harikalar Diyarında’yı çizgi romana dönüştürdü. Savaşın bitiminden hemen sonra, Napoli Radyosu'nda çalıştı.
Rosi 1946'da Roma'ya taşındı. Birkaç oyunda rol aldı, sonra da tiyatro yönetmeni Ettore Giannini'ye asistanlık yaptı. Çabalarını sinema dünyasına aktardı ve bu kez de Luchino Visconti, Michelangelo Antonioni ve Mario Monicelli'nin asistanı olarak çalıştı. 1951'den itibaren tek başına ve başkalarıyla birlikte film senaryoları yazmaya başladı. Bunların arasında senaryosunu Visconti'yle yazdığı Bellissima da vardı. İlk yönetmenlik deneyimini ise, 1952 yılında, Red Shirts / Kızıl Gömlekler’in setinde yönetmen Goffredo Alessandrini'nin yerini alarak yaşadı. 1955'te Vittorio Gassman’la bir Kean oyununun filme çekilmiş versiyonunu yönettiler. Tek başına ilk kez film yönetmesi ise 1958'de, kendi kenti Napoli'deki örgütlü suça, romantiklikten uzak, çarpıcı bir şekilde baktığı La sfida / Meydan Okuma’yla oldu. Yeni gerçekçi geleneğe derinden bağlı bir gerilim filmi olan Meydan Okuma Venedik'te, ilk filmini çeviren yönetmenlere verilen en iyi film ödülünü aldı. Bir sonraki filmi I magliari / Dolandırıcılar ise (1959), onun ilerideki çalışmalarının alamet-i farikası olacak toplumsal eleştiri, yurttaşlık tutkusu ve ahlaki sertlik özelliklerini taşıyan keskin bir göç komedisiydi.
Rosi'nin bir sonraki filmi ise, çoğu eleştirmen tarafından başyapıtı sayılan Salvatore Giuliano oldu (1961). Film, bu Sicilyalı eşkıyanın ayrılıkçı bir ordu kurmasına yol açan tarihsel olgulara, toplumsal çevreye ve sosyolojik içeriğe nüfuz edici, yeni-gerçekçi bir şekilde yaklaşıyordu. Aralarında meşhur Portella della Ginestra kıyımının gerçekleştirildiği yerin de bulunduğu otantik mekanlarda çekilen Salvatore Giuliano, başka ödüllerin yanı sıra, Berlin Film Festivali'nde Gümüş Ayı'yı da kazandı. 1963'te yaptığı Le mani sulla citta / Kentin Üzerindeki Eller, Napoli'deki inşaat spekülasyonu, rüşvetçi politikacılar ve örgütlü suça eleştirel bir bakıştır.
