На 25 януари 1959 г. изминаха само 99 дни от избора на Йоан XXIII. на папския трон. На този ден след богослужения в базиликата Св. Павел, при когото специално бяха поканени седемдесетте присъстващи по това време в Рим, папата обяви решението си да свика римски синод и общ съвет в Рим в близко бъдеще. Синодът в Рим трябваше да обсъди ситуацията в италианската църква. Що се отнася до общия съвет, папата изрази надежда, че в него ще вземат участие и всички „църкви, които се бяха разделили, за да се опитат да се съберат“. Съветът се подготвяше почти 3 години. За заседанието на Съвета бяха изготвени 70 документа. През цялото това време Йоан XXIII. той работеше неуморно. За три години той напълня още повече, изглеждаше по-упорит, болен, но приятелска усмивка не изчезна от лицето му. Папата знаеше, че е неизлечимо болен. Лекарите му поставили диагноза рак на стомаха, но той отказал да се оперира. На неговата възраст операцията беше свързана с голям риск и той искаше да застане, за да види откриването на съвета.
Накрая дойде септември 1962 г., който той чакаше толкова дълго. Журналисти, радио и телевизионни коментатори, туристи и, разбира се, бащите на Съвета - кардинали, патриарси, архиепископи, епископи, генерали от религиозни ордени - и почетни гости, представители на други църкви и религии - се събраха в Рим от цял свят . На 11 септември, в осем часа сутринта, в осветената базилика Св. Петър откри първото заседание на Втория Ватикански събор. 2692 църковни йерарси седяха на трибуните в митри и луксозни средновековни одежди. Европа беше представена от 849 бащи на Съвета, Америка - Север и Юг 932, Азия 256, Африка 250 и Океания 70. Срещата на първата сесия приключи на 8 декември 1962 г. В края на сесията Йоан XXIII говори. надеждата, че Съветът ще приключи разискванията си през следващата година. Бащите на съвета знаеха здравето му и имаха лошото усещане, че го виждат за последен път.
В средата на май 1963 г. Йоан XXIII. лягам. Неговият личен лекар, венецианецът Гаспарини и много други специалисти, които се грижеха за здравето му, след преглед на пациента стигнаха до извода, че няма надежда за възстановяване и че сега всичко, което е необходимо, е да се облекчат страданията на пациента. На 23 май папата стана за последно от леглото и отиде до прозореца на спалнята си, за да погледне площада на Сан Марко. Петра, изпълнена както винаги с голямо разнообразно множество. Сякаш се сбогува с Рим. Йоан XXIII беше много слаб, очите му хлътнаха, лицето му стана сиво. До последния момент обаче той запази ясно съзнание. В деня преди смъртта си той прие държавния си секретар, който го информира за рутинни въпроси и кардиналите, братята му и сестра му дойдоха да му кажат сбогом. Йоан XXIII на 3 юни 1963 г. в 19:00 ч. 49 минути.