Сначала говорили, что Сергей Иванов может быть похоронен Санкт-Петербурге, где родился, учился на филфаке университета, являлся сотрудником 1-го отдела Управления КГБ по Ленинграду и Ленинградской области, работая в одном подразделении вместе с будущим президентом Российской Федерации Владимиром Путиным. Но потом местом упокоения бывшего министра обороны решили сделать столицу.
Гроб с телом Сергея Борисовича установлен в Траурном зале при Центральной клинической больнице. Символично, что расположена она на улице маршала Тимошенко. Осенью 1941 года тот, тогда ещё заместитель наркома обороны СССР, член ГКО, командующий Юго-Западным фронтом, принимал парад в Воронеже, южной "ситуативной" столице страны. Сергей Иванов в бытность министра обороны тоже несколько раз принимал парады, хотя сам воинского звания не имел. Именно он в 2001 году ввёл на парадах моду на гражданский костюм.
Одним из первых к гробу с бывшим соратником подошёл президент Владимир Путин. Он возложил цветы и кратко пообщался с семьей. Вообще же пришли проститься с Ивановым многие из правительства, из военных ведомств. Известно, что генерал-полковника разведки Иванова в последний путь проводит сводный расчёт отдельной роты почётного караула, представляющий все три рода вооруженных сил — Сухопутные войска, Воздушно-космические силы и Военно-морской флот.
А многочисленные венки прислали не только официальные лица и ведомства, но и спортивные клубы и общества. Среди них венок от ЦСКА, болельщиком которого был Иванов. Венок армейского клуба украшен шарфом фирменной сине-красной расцветки команды.
Упокоится Сергей Иванов на престижном Троекуровском кладбище столицы, где могилы многих полковников и генералов. Это была воля самого Сергея Борисовича, поскольку тут в ноябре 2014 года был похоронен его старший сын Александр. Он утонул в море во время отдыха в Арабских Эмиратах. Кончина сына стала ударом для Иванова, он замкнулся, ушёл со многих постов.