В октябре 1964 г. Государственный комитет по авиационной технике одобрил эскизный проект самолета Т-4. Первоначально, в соответствии с правительственным решением, к проектированию самолета планировалось привлечь ОКБ и опытный завод им. С.А. Лавочкина, где имелся богатейший опыт создания скоростных летательных аппаратов (в частности, истребителя Ла-250, межконтинентальной крылатой ракеты «Буря» со скоростью, соответствующей М=3, и беспилотного перехватчика «Даль»), однако эти коллективы вскоре «ушли» в другое министерство и полностью переключились на ракетно-космическую тематику.

В конечном итоге для постройки самолета был выделен Тушинский машиностроительный завод (ТМЗ, в дальнейшем известный тем, что на нем был построен ВКС «Буран») и МКБ «Буревестник», получившее статус филиала ОКБ Сухого. Первоначально дирекция ТМЗ сопротивлялась передаче предприятию новой тематики, убеждая руководителей самого высокого уровня, что создание нового самолета заводу не под силу. Однако их усилия оказались тщетными, и с 1966 г. на ТМЗ началась подготовка к постройке «сотки».

Неоднозначно проект ОКБ П.О. Сухого был встречен и в министерстве, где высказывались сомнения в возможности реализации заявленных требований (в частности, достижения крейсерской скорости, соответствующей М=3). Вызывал настороженность и ряд технических новинок, заложенных в конструкцию самолета, в частности электродистанционная система управления, впервые в мире создававшаяся для серийной машины (первый американский самолет с ЭДСУ истребитель Дженерал Дайнэмикс F-16 был создан в 1974 г., на два года позже «сотки»). На одном из заседаний НТК МАП проект бомбардировщика П.О. Сухого был подвергнут критике со стороны А.Н. Туполева, заявившего, в частности: «Сухой не справится с такой машиной. Я это утверждаю, потому что он мой ученик», на что Павел Осипович ответил: «Именно потому, что я ваш ученик, справлюсь!»

Главным конструктором Т-4 был назначен Н. Черняков. Непосредственное участие в создании самолета принял шеф-пилот фирмы В.С.Ильюшин, совершивший впоследствии первый испытательный полет на новой машине. В 1963—65 гг., после рассмотрения более 30 вариантов аэродинамических и конструктивных компоновок, большого объема продувок в АДТ ЦАГИ и СибНИА конфигурация самолета была «заморожена». В окончательном виде схема самолета несколько отличалась от той, что была воплощена в эскизном проекте: четыре двигателя разместили в единой подфюзеляжной гондоле, а в качестве силовой установки были выбраны ТРДФ РД-36-41 Рыбинского бюро моторостроения, создаваемые под руководством П.А. Колесова.

Для отработки на стендах ЦИАМ двигательной установки Т-4 с электродистанционным управлением была создана модель с двигателями ВД-19 и макет силовой установки с ТРДФ 79Р. Предложенная ОКБ компоновка четырех сверхмощных двигателей в одной гондоле первоначально вызвала скептическое отношение в ЦАГИ, однако его опасения оказались напрасными: на стендовых испытаниях силовая установка работала нормально.

Эргономическая отработка рабочих мест летчиков осуществлялась с привлечением Института авиационной и космической медицины, где был установлен натурный макет кабины «сотки».

Острые дискуссии вызвал вопрос о том, ставить ли на самолете традиционный для тяжелых бомбардировщиков штурвал, на чем настаивал заказчик. Однако «рога» штурвала закрывали значительеую часть и без того «уплотненной» приборной доски. В конечном итоге предпочтение было отдано ручке управления истребительного типа (Россия оказалась последней крупной авиационной державой, «держащейся за штурвал»: в Великобритании к РУС перешли на бомбардировщиках серии «V» еще в начале 1950-х годов, а в США на самолете В-58 «Хастлер» — в конце 50-х).

Для отработки для самолета Т-4 крыла с новым профилем на базе истребителя Су-9 в 1967 г. была создана летающая лаборатория «100Л», на которой в 1967— 1969 гг. были проведены испытания восьми различных вариантов крыла для «сотки», позволившие оптимизировать аэродинамическую конфигурацию новой ударной машины (в частности, был получен богатый экспериментальный материал по вихревым отрывным течениям). Для отработки электродистанционной аналоговой системы управления был использован другой самолет — летающая лаборатория — «100ЛДУ», созданный на базе учебно-боевого самолета Су-7У. В 1968 г. на летающей лаборатории Ту-16 началась отработка двигателя РД-36-41. Самолеты Ан-12, Ту-22, Ил-18 и Ту-104Б использовались для отработки БРЭО и систем.

Значительный объем работ по созданию новых конструкционных материалов (жаропрочных титановых сплавов, неметаллических материалов, особых сортов резины, стеклопластиков) был проделан в ВИАМ.

В декабре 1966 г. ОКБ предъявило заказчику макет самолета Т-4 (имел длину 43,7 м, размах крыла 22,0 м и площадь крыла 291 кв.м). В 1966—68 гг. было проведено рабочее проектирование разведчика-бомбардировщика. Постройка первого опытного самолета на Тушинском машиностроительном заводе началось в 1969 г., а 30 декабря 1971 г. опытный самолет «101» был доставлен на летно-доводочную базу в Жуковском.

При изготовлении машины были применены новые технологии, многие из которых не имели аналогов в отечественном и мировом авиастроении. Весь цикл производства Т-4 был в максимальной степени автоматизирован. В частности, автоматически выполнялось 95% сварных работ. Был достигнут значительно более высокий, чем при постройке самолетов предыдущих конструкций, коэффициент использования материалов, что свело к минимуму отходы. Предусмотренный при серийном производстве полный перевод монолитных деталей на сборно-сварные конструкции, по оценкам НИАТ, должен был обеспечить снижение расходов материалов на 70%, трудоемкости — на 45%, сокращение производственных циклов — в два-три раза.

В 1972 г. в Жуковском была продолжена доводка систем и подготовка машины к первому полету. Однако начало летных испытаний было задержано из-за разрушения титановых крепежных деталей в хвостовой части фюзеляжа в результате высокого уровня акустических и вибрационных нагрузок. В результате весь титановый крепеж было решено заменить на стальной.