Stalloneho život provázel neklid ještě dříve, než přišel na svět. Herec prozradil, že jeho matka těhotenství vnímala jako obrovskou přítěž a porod na klinice provázely komplikace, při kterých mu lékaři kleštěmi nešikovně porušili nerv, což vedlo k částečnému ochrnutí obličeje. V dětství kvůli tomu silně "mumlal", čelil šikaně a odmítání, což v něm paradoxně zažehlo touhu chránit bezbranné, kterou později promítl do svých rolí.
Jeho dětství bylo definováno domácím násilím ze strany otce a naprostým citovým chladem matky. Vrcholem rodinného odcizení byl moment z roku 1977, kdy byl Stallone poprvé nominován na Oscara za film Rocky. Když matce nadšeně volal, aby ji na ceremoniál pozval, chladně se ho zeptala, kdo v tom filmu vlastně hraje, a odmítla přijít. Slavný herec přiznal, že s ním matka odmítala být o samotě až do své smrti, což v něm zanechalo hluboké rány.
K nejtemnějším kapitolám jeho života však patří rodinná tragédie z roku 2012, kdy jeho nejstarší syn Sage náhle zemřel ve věku 36 let na srdeční vadu. Stallone v rozhovoru přiznal, že tato ztráta pro něj byla nejkrutější ranou osudu, která zcela změnila jeho pohled na život a priority. Bolest ze ztráty dítěte se stala dalším hlubokým traumatem, se kterým se musel naučit žít a které ho pronásleduje dodnes.
I když Stallone na plátně ztělesňoval neporazitelnost, v soukromí desítky let bojoval s těžkými úzkostnými stavy a bulimií, kdy kvůli filmům drasticky snižoval tělesný tuk. První masivní záchvat paniky prožil v 36 letech, kdy se v slzách zhroutil na podlahu, paralyzován hluboko zakořeněným strachem. Na otázku, zda něčeho v životě lituje, odpověděl jasně: „To je nesmysl. Můj život je plný výčitek. Mohl bych z nich postavit celý hrad.“
