Hatodik gyermekként jött a világra, három testvére még az ő születése előtt meghalt.
A gyermek csupán három éves volt, amikor az apa 1908. július 1-jén elhagyta a háromgyermekes családot, s elindult szerencsét próbálni Amerikába. Végül Romániáig jutott, de családját végleg magára hagyta.
Az édesanyjának csak nagy nehézségek árán sikerült gyermekeit eltartania: napszámos munkát végzett, úri házakhoz járt mosni, vasalni és takarítani, ám ennek ellenére sem tudta biztosítani gyermekeinek a legalapvetőbb szükségleteket. Végül úgy döntött, hogy 1910 februárjában két kisebb gyermekét, Etelt és Attilát, a Gyermekvédő Liga gondjaira bízza. A testvérek 1910. március 21-én Öcsödre kerültek nevelőszülőkhöz, Gombai Ferenc parasztgazda házába. A gyermekek a házi munkában, az állatok etetésében és legeltetésében segítettek, cserébe kapták az ellátást. Csak 1911 nyarán látogatta meg őket édesanyjuk. József Attila az öcsödi református elemi iskolában kezdte meg tanulmányait az 1911/12-es tanévben.
Nevelőszülei a gyermek füle hallatára beszélték meg szomszédaikkal, hogy az Attila név nem létezik, és innentől fogva Pistának szólították. Fontos tényező volt életében, hogy később Attila hun vezérről szóló olvasmányokat talált. Ez természetesen felkeltette érdeklődését az irodalom iránt, hisz ezek a legendák újra megerősítették identitástudatát.
Amíg a két gyermek távol volt, édesanyjuk folyamatosan azon munkálkodott, hogy számukra jobb életkörülményeket teremthessen. Szerzett egy bérlakást a Gubacsi úton, majd munka közben súlyos baleset érte, a lábadozás során addig szerzett javai elkallódtak. Etel és Attila 1912. június 19-én tértek haza Öcsödről, bár a család továbbra is nagy szegénységben élt a Ferencvárosban. Gyakran kellett költözködniük egyik lakásbérleményből a másikba.
József Attila 1912/13-ban először az Ipar utcai fővárosi népiskolában, egy költözés után pedig a mai Mester utca 67. szám alatti iskolában járta a II. osztályt. Napjait nagyrészt az utcán töltötte, a kenyérkeresés szabályos és szabálytalan módjaival is megpróbálkozott. Már gyermekkorában kemény fizikai munkát is vállalt, hogy a család szegénysége enyhüljön, erről a következő sorai tanúskodnak:
Sokat betegeskedett, 1913 vége felé súlyos tüdőgyulladás döntötte ágynak. 1914 első felében Jolán nővérével történt egyik heves vita után Attila először próbált öngyilkos lenni: lúgkővel akarta megmérgezni magát, de helyette tévedésből keményítőt ivott. József Jolán állást szerzett a Bőrklinikán, majd 1914.augusztus 22-én feleségül ment Pászti Elemérhez. A család ekkor a férj Üllői út 63. szám alatti lakásába költözött át. 1914. október 14-én Pászti a frontra indult.