Дід — Осип Абрамович Ганнібал
Третій син Ібрагіма Ганнібала. Звали його спочатку Януарием, але для матері, німкені за походженням, ім’я було складним для вимови. Служив в артилерії на флоті капітаном 2 рангу.
З дружиною незабаром розлучився, залишивши на виховання дочку Надію. Вдруге побрався з іншою жінкою, але шлюб визнали незаконним. Його вважали людиною легковажним і марнотратним.
Прабабуся — Христина Регіна фон Шеберг
Друга дружина Ібрагіма Ганнібала, німкеня, дочка Матвія фон Шеберга, офіцера Перновского полку.
Народила у цьому шлюбі 11 дітей, один з них, Осип, став дідусем поета.
Прадід генерал Абрам Петрович Ганнібал
Прадід по матері. Походив із знатного князівського абіссинського роду. Під час турецької війни був ворогами взятий заручником. У Константинополі жив у дворі султана, викуплений російським посланником дяком Украинцевым і привезений в Росію. Петро I охрестив тямущого арапчонка й Петром він назвав, але Абрам зберіг своє ім’я і прізвище. Імператор особисто виховував і навчав хлопчика російської грамоті та арифметиці.
Абрам отримав широке інженерна освіта за кордоном і був одним з кращих культурних людей свого часу. Мав чин бомбардира Преображенського полку і завідував кабінетом креслень і планів імператора. Після смерті Петра I засланий у Сибір, звідки переведений в Ліфляндію, в Ревельський гарнізон.
В правління Єлизавети генерал-майором служив на посаді коменданта Ревеля. Тоді йому було подаровано маєток Михайлівське.