Savo karjerą Jay-Z pradėjo 1995-aisiais metais singlu "In My Lifetime". 1996-aisiais jaunasis reperis išleido debiutinį albumą „Reasonable Doubt", kuriame galima rasti tokius hitus kaip "Can't Knock The Hustle", "Feelin' It", "Dead Presidents" ir "Brooklyn's Finest". Per metus šis albumas buvo parduotas milijono kopijų tiražu. 1997-aisiais, paskatintas pirmo albumo sėkmės, Jay-Z išleido diską „In My Lifetime", taip pat tapusį platininiu. Sėkmingiausias singlas buvo "The City Is Mine". 1998-ųjų rugsėjį pasirodė ir trečias Jay-Z studijinis darbas „Hard Knock Life", MTV pradėjo transliuoti dainas iš šio albumo - "Hard Knock Life" ir kūrinį, kurį įrašyti padėjo tada dar niekam nežinomas reperis Ja Rule - "Can I Get A...". 1998-ųjų spalį albumas "Hard Knock Life" penkias savaites buvo pirmas Billboard albumų tope. Iš viso šio albumo buvo parduota 5 milijonai kopijų. Kūriniai "Hard Knock Life" ir "Can I Get A..." pabuvojo JAV Top 40-uke. 1998-ųjų pradžioje muzikos žurnalas Rolling Stone Jay Z paskelbė geriausiu metų Hip-Hop atlikėju. Tuo apdovanojimai reperiui nesibaigė. 1999-ųjų pradžioje jis gavo Grammy statulėlę už geriausią metų repo albumą "Hard Knock Life". 1999-ųjų spalį į topus įsiveržia Jay Z duetas su Mariah Carey - daina "Heartbreaker". Gruodį šis singlas jau pirmas JAV. 2000-uosius reperis pradėjo nauju albumu "The Life & Times Of Shawn Carter", kurio buvo parduota net pusė milijono kopijų per pirmąją savaitę ir šis lengvai debiutavo pirmoje JAV albumų topo vietoje. 2000-ųjų gegužę į JAV Top 40 pakilo jo darbas "Big Pimpin'", vėliau gavęs MTV apdovanojimą už geriausią repo klipą. Albumas "The Life & Times Of Shawn Carter" tapo tris kartus platininiu ir Jay Z nieko nelaukęs, 2000-ųjų spalį išleido penktą savo diską "The Dynasty Rock La Familia 2000", o po mėnesio pirmas ir vienintelis singlas iš šio albumo "I Just Wanna Love U (Give It To Me)" jau lankėsi JAV Top 40-uke. Albumas tampa du kartus platininiu, o Jay Z nominuojamas dviem Grammy statulėlėms. 2001-ųjų viduryje Jay Z net dukart per porą mėnesių apsilanko JAV Top 40-uke: pirmą kartą atlikęs duetą su R.Kelly "Fiesta", o vėliau ir su soliniu darbu "Izzo (H.O.V.A.)". Iškart po to, rugsėjį Jay Z išleidžia naują albumą "The Blueprint", kuris per pirmąją pardavimų savaitę nuperkamas 426000 kartų. Antras Jay Z singlas iš šio albumo "Girls, Girls, Girls" apsilanko JAV Top 40-uke, o pats albumas tampa du kartus platininiu. Po to Jay Z išleidžia dar du albumus: "Unplugged" ir duetą su R&B žvaigžde R.Kelly – „The Best Of Both Worlds". Pastarasis JAV parduodamas milijono kopijų tiražu.