Akcja poszczególnych opowiadań toczy się w różnych miejscach: w Warszawie: m.in. ulice Targowa, Skaryszewska (opowiadania: „Matura na Targowej", „Pożegnanie z Marią"), w więzieniu na Pawiaku („Chłopiec z Biblią"), w Auschwitz („U nas, w Auschwitzu...", „Ludzie, którzy szli", „Proszę państwa do gazu"), w prywatnym majątku ziemskim Harmenze, w którym pracowali więźniowie („Dzień na Harmenzach") oraz w poesesmańskich koszarach, gdzie przesiedlono więźniów (już po wyzwoleniu).

W kontekście biografii autora tym miejscem są tereny Rzeszy, a konkretnie okolice Monachium. Potwierdza ów fakt Tadeusz Drewnowski - badacz literatury, znawca twórczości Tadeusza Borowskiego: „Wyzwolenie obozu Dachau Allach (tu w lutym 1945 roku przesiedlono autora „Kamiennego świata") przez VII Armię Amerykańską, jakie nastąpiło 1 maja 1945 roku, nie od razu przyniosło Borowskiemu wolność. W obawie przed konsekwencjami nagłego uwolnienia mas ludzkich, jakie Niemcy zegnali do Rzeszy, Amerykanie utworzyli przejściowo tzw. obozy dipisów (dipisi - przesiedleńcy, osoby po wyzwoleniu przebywające poza terytorium swojego państwa), które stopniowo rozładowywali. Borowski znalazł się znów za drutami, w dawnych koszarach SS we Freimanie, na przedmieściu Monachium."

Czas, w którym dzieją się przywoływane zdarzenia to przede wszystkim okres okupacji, natomiast wypadki zaprezentowane w opowiadaniu „Bitwa pod Grunwaldem" dotyczą okresu po wyzwoleniu - lipiec 1945 (inscenizacja bitwy odbywa się w rocznicę dawnych wydarzeń). „Matura na Targowej" to wspomnienie przygotowań do egzaminu dojrzałości (zima 1939 roku) i czas egzaminu (wiosna 1940 roku). „Pożegnanie z Marią" dotyczy czasu jeszcze przed aresztowaniem autora, a to miało miejsce w lutym 1943 roku. Wspomniane opowiadanie przedstawia obraz okupowanej Warszawy oraz sytuację ludzi, którzy usiłują sobie radzić w nowej rzeczywistości (tajne komplety, podziemny uniwersytet, spotkania literackie, konspiracyjne wydawnictwa, nielegalny handel, kradzieże, oszustwa). „Chłopiec z Biblią. nawiązuje do uwięzienia Borowskiego na Pawiaku, natomiast kolejne opowiadania: „U nas, w Auschwitzu...", „Ludzie, którzy szli", „Dzień na Harmenzach", „Proszę państwa do gazu" odwołują się do pobytu Borowskiego w Oświęcimiu (lata 1943-44).