Babası Jack Osbourne, General Motors firmasında, annesi Lillian Osbourne ise Lucas adlı araba sarf malzemeleri üreten bir firmada işçi olarak çalışıyordu. Altı kardeşi ile beraber büyüyen Osbourne, okul hayatında pek başarılı olamadı; öğretmenleri öğrenim güçlüğü çektiğini düşünüyorlardı. 14 yaşındayken Beatles’ın müziği sayesinde rock müzikle tanışan Osbourne, 15 yaşındayken okulu bıraktı ve de yerel işletmelerde, inşaattan araba fabrikasına kadar değişen pek çok sektörde çalışarak iş hayatına atıldı. İlk müzik grubunu bu yıllarda, Birchfield Road School’da beraber okuduğu arkadaşı Tony Iommi ile beraber kurdu. Grup, psychedelic rock müziğinin baskın akım olduğu yıllarda, blues etkileşimli sert bir rock müzik eksenini korumaya çalışıyordu. Bass gitarist Geezer Butler, gruba yönetmen Mario Bava’nın korku filmi Black Sabbath’ın adını vermeyi düşündüğünü söyleyince gruplarının adı da konmuş oldu.
Grubun ilk albümü Black Sabbath, 13 Şubat 1970 yılında piyasaya çıktı ve de Amerikan müzik listelerinde 8. sıraya kadar yükseldi. İlk albümden sadece dört ay sonra stüdyoya dönen grup, War Pigs adlı ikinci albümleri üzerinde çalışmaya başladı; fakat Vietnam Savaşı’nı yeren albümün adı, müzik şirketinin baskısı üzerine Paranoid Park’e çevrildi. Paranoid, 4 milyondan fazla kopya sattı ve gruba ilk Amerika turnesinin kapısını açtı. Ozzy Osburne, bu albümle beraber şarkıcılık ve söz yazarlığı konusunda heavy metalin en etkili isimlerinden birisi haline gelmeye başladı.
İlk albümlerinin liste başarıları, 1971 yılında Master of Reality, 1973 yılında Volume 4, 1973 yılında Sabbath Bloodly Sabbath ve 1976 yılında Sabotage ile devam etti. Fakat grubun başarılı gidişi, 1976 yılında piyasaya sürülen Technical Ecstasy ile beraber durulmaya başladı. Technical Esctasy, Black Sabbath’ın Amerika listelerinde ilk 50’ye giremeyen ilk albümü olmuştu ve albüm sonrasında grupta çözülmeler görülmeye başlandı ve Ozzy Osbourne, 1977 kasımında, grup yeni albümleri için stüdyoya girmeden kısa bir süre önce Black Sabbath’dan ayrıldığını açıkladı. Grubun gidiş hattından memnun olmadığını söyleyen Osbourne, yine de grubun son albümü olan Never Say Die! kadrosunda yer aldı ve de 1979 yılının sonunda, çok fazla uyuşturucu madde kullandığı ve gruba yeni eserler katacak durumda olmadığı gerekçesiyle gruptan kovuldu . 2009 yılında kendi otobiyografisini yayınladı.