Akcja powieści rozpoczyna się w 1815 w prowansalskim miasteczku Digne opisem życia prowadzonego przez biskupa Myriel, zwanego przez mieszkańców diecezji Mile Widzianym (fr. Bienvenu). Biskup ten dobrowolnie zrezygnował z mieszkania w przeznaczonym dla siebie pałacu, oddając go na szpital. Dawał przykład skromności i dobroci, wspierał dobroczynność. Któregoś dnia w miasteczku zjawił się wypuszczony z więzienia galernik Jean Valjean. Jedyną osobą, która przyjęła go przychylnie, był biskup. Valjean ucieka jednak w nocy, kradnąc srebrną zastawę stołową Myriela. Zostaje zatrzymany przez policję i zawrócony, jednak biskup zapewnia, że sam podarował mu srebra. Po odejściu policjantów stwierdza, że w ten sposób wykupił duszę Valjeana od sił zła i oddał Bogu. Opuszczając Digne, zszokowany minionymi wydarzeniami Valjean spotyka na gościńcu nastoletniego kominiarza z Sabaudii i kradnie mu monetę 40 sous, po czym pojmując swój błąd, woła "Jestem nędznikiem!" i postanawia zmienić swoje życie. Akcja przenosi się do Paryża, dwa lata później czterech młodzieńców żyje w wolnych związkach z czterema dziewczętami, z których jedna, Fantyna, zostaje porzucona z małą córeczką. Kobieta postanawia opuścić Paryż i szukać pracy. Nie chcąc, aby wyszła na jaw historia jej romansu, zostawiła córeczkę Kozetę u przypadkowo spotkanej rodziny oberżystów z Montfermeil koło Paryża. Fantyna trafiła do miasta przeżywającego prawdziwy rozkwit. Stało się tak za sprawą nieznanego nikomu przemysłowca, Madeleine`a. Dzięki wprowadzeniu nowinek technologicznych do zakładów produkujących sztuczne szkło mógł nie tylko wzbogacić się sam, ale i sfinansować budowę szkół, ochronek i przytułków. Otoczony powszechnym szacunkiem został wreszcie merem miasta. W Montreuil tylko inspektor policji Javert mu nie ufa. Jego podejrzenia zwiększyły się jeszcze po tym, gdy Madeleine, chcąc ratować woźnicę Faucheleventa, podniósł na barkach ciężki wóz. Javert stwierdził wówczas, że znał tylko jednego człowieka o takiej sile: galernika nazwiskiem Valjean.