Poznajemy Jima jako młodego, sympatycznego i lubianego człowieka, który pracuje jako agent handlowy w portach Azji Południowej i wysp Pacyfiku. Jest inteligentny, przystojny i bystry, jednak także tajemniczy i zdarzało się, iż niespodziewanie porzucał swą pracę, którą zajmuje się, ponieważ nie może pracować - zgodnie ze swoim prawdziwym zawodem - jako marynarz.
Bohater był synem proboszcza anglikańskiego. Pod wpływem przyjemnych książek o bohaterach i przygodach postanawia związać swe życie z morzem i uczęszcza do kupieckiej szkoły morskiej. Wkrótce wyrusza w pierwsze rejsy na statkach szkoleniowych, podczas których spędza swój wolny czas pogrążając się w marzeniach o życiu, jakie poznał z książek, ściśle związanym z bohaterskimi czynami, jak ratowanie tonących czy podbijanie nowo odkrytych ziem. Któregoś dnia w pobliżu doszło do zderzenia innego statku, więc posłano łódź, aby uratować rozbitków. Jimowi nie udało się znaleźć pośród tych, którzy wyruszyli na pomoc, co bardzo go rozczarowało.
Nauka bohatera trwała dwa lata, po których wyruszył w prawdziwe rejsy na statkach handlowych. Szybko awansuje na stanowisko pierwszego oficera, jednak jego brak doświadczenia i młody wiek dają o sobie znać, kiedy przychodzi mu zmierzyć się z prawdziwym, nieromantycznym obliczem życia na morzu. Podczas sztormu zostaje ranny i spędza kilka dni w kajucie, tym razem nie myśląc o bohaterskich czynach, a skupiając się na własnym bólu i strachu. Ponieważ nie zdołał się odpowiednio szybko wykurować, zostawiono go w najbliższym porcie. Wkrótce zaciągnął się jako pierwszy oficer na parowiec "Patna", mający przewieźć muzułmańskich pielgrzymów do Mekki. Kapitanem statku był nieco nieobliczalny Niemiec.
Pierwsze dni rejsu były wyjątkowo spokojne. Podczas jednej z nocy Jim pełnił wachtę i rozmyślał o bohaterstwie, kapitan w tym czasie kłócił się z pijanym człowiekiem z załogi. Nagle statkiem wstrząsnęła jakaś nieznana siła, która niemal przewróciła ludzi na pokładzie.
Przenosimy się w inny czas i miejsce, aby być świadkami rozprawy w sali sądowej. Jim przywołuje, co wydarzyło się podczas rejsu "Patny". Został posłany pod pokład, aby zobaczyć, jakiego zniszczenia dokonało zderzenie, i odkrył, że statek nabiera wody. Opowieść bohatera jest pełna uczuć i szczegółów, jednak sędzia przerywa mu i nakazuje jedynie odpowiadać na pytania przecząco lub potwierdzająco. Jim zauważył, że na sali siedzi jakiś mężczyzna, który bardzo intensywnie go obserwuje i zdaje się rozumieć, jak działał bohater. Człowiekiem tym jest Marlow, który będzie starał się poznać całą historię Jima.
Przenosimy się po raz kolejny w inną lokację. Marlow w godzinach popołudniowych opowiada grupie milczących słuchaczy historię Jima. Wspomina, że sam nie wie, dlaczego właściwie poszedł na proces, aczkolwiek sprawa "Patny" była dość znacząca pośród marynarzy. Sam widział uratowaną załogę parowca, był świadkiem ich przybycia do portu oraz słyszał ich zeznania. Opowiada szczegółowo o wyglądzie załogi, np. o kapitanie, który miał na sobie czyjąś piżamę. Marlow znał urzędnika portowego, kiedyś dał mu spory napiwek. Podczas obserwacji załogi zauważył stojącego z boku Jima, którego od razu rozpoznał jako "jednego z nas". Ludzie z "Patny" po jakimś czasie rozeszli się, jeden z nich, ranny mechanik, udał się do szpitala. Kilka dni później Marlow spotkał go tam, kiedy odwiedzał człowieka z własnej załogi. Poznał innego marynarza z "Patny", pogrążonego w alkoholowym delirium. Opowiedział Marlowowi, że widział, jak parowiec tonie i po chwili zaczął narzekać na różowe ropuchy, które kryją się pod jego łóżkiem. Jeden z lekarzy zapytał Marlowa, czy słowa tego człowieka będą ważne dla sądu, bohater stwierdził, że nie.
Marlow zgłosił się do udziału w sprawie, wiedząc, że jest ona zorganizowana tylko dla zadowolenia społeczności marynarzy, ponieważ wszystkie fakty były już dobrze znane. Jeden z sędziów, kapitan Brierly, dobrze znany i poważany marynarz, dowodzący jednym z najlepszych statków na Wschodzie, znany z bohaterstwa i umiejętności żeglarskich, wkrótce po wzięciu udziału w dochodzeniu popełnił samobójstwo. Pierwszy oficer Brierly'ego opowiedział później Marlowowi, że kapitan dobrze przygotował się do zakończenia swego życia, zanim wyskoczył za burtę. Marlow doszedł do wniosku, że człowiek ten zdecydował się popełnić samobójstwo z powodu tego, że w jakiś sposób identyfikował się z Jimem. Jeszcze podczas procesu Marlow rozmawiał z Brierlym i uzgodnili, że obaj zbiorą sumę pieniędzy, którą ofiarują Jimowi, aby z nią uciekł. Marlow miał przedstawić tę propozycję bohaterowi.
Następnego dnia, wychodząc z sądu, Jim szedł przed Marlowem. Ktoś w tłumie zawołał na psa, który wymknął się właścicielowi, jednak Jim sądził, że to Marlow je wypowiedział, by obrazić go i nazwać go tchórzliwym. Powiedział Marlowowi, że zauważył go podczas dochodzenia i pamięta, że ten wpatrywał się w niego. Marlow wyjaśnił sprawę psa między tłumem. Jim poczuł się zażenowany i odszedł, ale Marlow dogonił go i zaprosił na obiad do swojego hotelu. Jim zgodził się. Podczas posiłku bohater powoli zaczął mówić o swoim cierpieniu, o wstydzie z powodu tego, że jego rodzina wie o procesie oraz pragnieniu, by ktokolwiek go zrozumiał. Opowiedział, co wydarzyło się na "Patnie". Pod pokładem zauważył, że wkrótce woda ogarnie kolejne części statku i że z pewnością on zatonie. Załoga uznała, że parowiec na pewno wkrótce zacznie tonąć, więc opuścili statek, pozostawiając na nim muzułmańskich pielgrzymów. Jednak okazało się, że "Patna" nie zatonęła i z powodu opuszczenia dryfującego statku i pozostawienia pielgrzymów na pewną śmierć (z powodu braku większej ilości łodzi ratunkowych nie mogliby uciec) Jim i pozostali oficerowie zostali postawieni przed sądem. Jim cierpiał z powodu swego błędu i straconej szansy na zostanie bohaterem, którym okrzyknięto by go, gdyby został na tonącym statku.
Jim wspomina widok śpiących pielgrzymów, nieświadomych swojego losu. Jeden z nich nagle obudził się i poprosił go o wodę, jednak bohater źle go zrozumiał - sądził, że ten człowiek wie, iż statek tonie, więc ogłuszył go, by ten nie wywołał paniki. Dopiero po chwili zrozumiał, że muzułmanin prosił o wodę dla swojego chorego dziecka, więc oddał mu swoją butelkę wody. Jim powrócił na pokład, gdzie oficerowie już szykowali się do zejścia do łodzi ratunkowych. Opowiedział o swoim rozdarciu, myśli o nieświadomych niczego pielgrzymach, tonącym statku, załodze, która chciała, by pomógł przygotować łódź ratunkową. Jeden z oficerów wskazał na horyzont, gdzie ujrzeli nadchodzący sztorm. Nagle jeden z mechaników dostał ataku serca i upadł. Niemal w jednej chwili uderzył sztorm a załoga zeszła do łodzi. W jakiś sposób Jim znalazł się między nimi, sam nie wiedząc, jak.
Kiedy łodzi udało oddalić się od tonącego parowca i burzy, spostrzegli, że nie widać żadnych świateł ze statku, więc prawdopodobnie już zatonął. Załoga sądziła, że mechanik, który zmarł przed ucieczką, jest pośród nich, a kiedy zauważają, że to Jim, posądzają go o zabicie tego człowieka, by móc zająć jego miejsce na łodzi. Marynarze układają jednakową wersję wydarzeń, by móc ją przedstawić, kiedy dotrą do jakiegoś portu. Jim przerywa swoje opowiadanie i pyta kilkakrotnie Marlowa, czy ten mu wierzy. Dręczy się próbami wytłumaczenia swojego postępowania.
Następnego dnia załoga została zabrana na pokład statku "Avondale". Kapitanowi opowiedzieli ustaloną wersję wydarzeń. Jim nie bierze udziału w zeznaniach i ma poczucie, iż oszukują oni zmarłych pielgrzymów. Nie pomaga mu odkrycie, że "Patna" jednak nie zatonęła, udało jej się dotrzeć do portu i nikt nie zginął. Dowiedział się o tym po przybyciu "Avondale" do portu. Marlow zastanawia się, dlaczego załoga tak szybko uznała, że statek zatonął, i dlaczego nie widzieli jego świateł. Przypomniał sobie zeznania Brierly'ego, który mówił, że kiedy sztorm nadszedł, parowiec zaczął się kołysać, i jego światła stały się niewidoczne dla ludzi w łodzi.
Marlow opowiada o uratowaniu parowca, o czym przeczytał w raportach i usłyszał wiele lat później od francuskiego oficera, którego poznał w Sydney. Mniej więcej w tym czasie, kiedy załoga wsiadła na statek "Avondale", przepływający francuski okręt zbliżył się do "Patny" i przyholował ją do portu. Stary Francuz opowiada, że nudził się podczas rejsu na tym statku i wspomniał, iż wszyscy bardzo interesowali się ciałem zmarłego mechanika. Marlow opowiada mu o dochodzeniu i historii Jima. Francuz uważa Jima za tchórza i pyta, czy stanął on przed sądem, czy też uciekł. Rozważa nad sprawą bohaterstwa i strachu, jednak trudno mu znaleźć słowa, by wyrazić, co naprawdę chce powiedzieć. Marlow zastanawia się nad marną wartością słów i rozmów.
Bohater wspomina, że niedawno spotkał Jima, który teraz pracuje w Samarangu jako akwizytor. To Marlow załatwił mu tę pracę. Opowiada o Bobie Stantonie, marynarzu, który pracował jako akwizytor i utonął, kiedy próbował uratować kobietę po katastrofie statku. Powraca w swej opowieści do obiadu z Jimem. Następnego dnia sąd miał orzec wyrok dla Jim. Nocą Marlow przedstawił bohaterowi propozycję ucieczki, jednak Jim odmówił, odwołując się do tego, jak zachowałby się Marlow w jego sytuacji. Następnego dnia Marlow wysłuchał werdyktu: oficerowie z "Patny" uznani zostali za opieszałych i nie spełniających swoich obowiązków, z tego powodu cofnięto...
