Абрам Фёдорович Иоффе родился 17 (29) октября 1880 года в городе Ромны в семье купца второй гильдии Файвиша (Фёдора Васильевича) Иоффе. В 1888—1897 годах учился в Ромненском реальном училище. По его окончании он переезжает в Петербург и поступает в Петербургский технологический институт, который оканчивает в 1902 году. В 1903 отправился в Мюнхен к первому лауреату Нобелевской премии по физике В. К. Рентгена, лучшему, по отзыву петербургских профессоров, физику-экспериментатору, для приобретения опыта в постановке эксперимента по проверке созданной Иоффе еще в годы учебы в училище резонансной теории запаха и чувства обоняния. Сначала работал практикантом, живя на собственные средства, потом получил место ассистента. В годы работы в лаборатории Рентгена А.Ф.Иоффе выполнил ряд крупных исследований. К их числу нужно отнести прецизионный эксперимент по определению «энергетической мощности» радия. Работы А. Ф. Иоффе по механическим и электрическим свойствам кристаллов, выполненные в мюнхенские годы, носили систематический характер. В процессе их проведения на примере кристаллического кварца им был изучен и правильно объяснен эффект упругого последействия. После блестящей защиты докторской диссертации в Мюнхенском университете в 1905 году А. Ф. Иоффе отказывается от лестного предложения своего учителя Рентгена остаться в Мюнхене для продолжения совместных исследований и преподавательской работы и возвращается в Россию.
С 1906 года А. Ф. Иоффе начал работу в должности старшего лаборанта в Петербургском политехническом институте. В физической лаборатории института им в 1906—1917 гг. были выполнены блестящие работы по подтверждению эйнштейновской квантовой теории внешнего фотоэффекта, доказательству зернистой природы электронного заряда, определению магнитного поля катодных лучей. В 1911 году А. Ф. Иоффе определил заряд электрона, использовав ту же идею, что и Р. Милликен: в электрическом и гравитационном полях уравновешивались заряженные частицы металла (в опыте Милликена капельки масла). Однако эту работу Иоффе опубликовал в 1913 году, а Милликен опубликовал свой результат несколько раньше, поэтому в мировой литературе эксперимент получил его имя. Первая работа Иоффе, составившая предмет его магистерской диссертации, была посвящена элементарному фотоэлектрическому эффекту. Он доказал реальность существования электрона независимо от остальной материи, определил абсолютную величину его заряда, исследовал магнитное действие катодных лучей, представляющих собой поток электронов, доказал статистический характер вылета электронов при внешнем фотоэффекте. В 1913 году, после защиты магистерской диссертации, А. Ф. Иоффе стал экстраординарным профессором. В 1914 году за его исследования Академия наук России наградила А. Ф. Иоффе премией имени С. А. Иванова.
По инициативе А. Ф. Иоффе в октябре 1918 года был создан физико-технический отдел в Рентгенологическом и радиологическом институте в Петрограде, реорганизованный в 1921 году в Физико-технический институт, который более трех десятилетий и возглавлял А. Ф. Иоффе. В 1918 году он избирается членом-корреспондентом, а в 1920 году — действительным членом Российской Академии наук. В 1924—1930 гг. А. Ф. Иоффе — председатель Всероссийской ассоциации физиков. С 1925 года — действительный член АН СССР, в 1927—1929 и 1942—1945 гг. — вице-президент АН СССР. В начале Отечественной войны А. Ф. Иоффе стал председателем Комиссии по военной технике, участвовал в строительстве радиолокационных установок в Ленинграде. В 1942 году во время эвакуации в Казани был назначен председателем Военно-морской и Военно-инженерной комиссий.
В декабре 1950 года, во время кампании по «борьбе с космополитизмом», А. Ф. Иоффе был снят с поста директора и выведен из состава ученого совета института. В 1952—1955 гг. возглавлял лабораторию полупроводников АН СССР. В 1954 году на основе лаборатории организован Институт полупроводников АН СССР, которым академик Иоффе руководил до конца своей жизни. Указом Президиума Верховного Совета СССР от 28 октября 1955 года Абраму Фёдоровичу Иоффе присвоено звание Героя Социалистического Труда с вручением ордена Ленина и золотой медали «Серп и Молот».
А. Ф. Иоффе скончался 14 октября 1960 года в своём рабочем кабинете. Похоронен на Литераторских мостках Волковского кладбища в Санкт-Петербурге.