Юлий Борисович Харитон родился 27 февраля (14 февраля по старому стилю) 1904 года в Санкт-Петербурге.

Его отец был редактором газеты "Речь", директором санкт-петербургского Дома литераторов, в 1922 году был выслан из Советской России. Мать — актриса, играла во МХАТе. Родители развелись, когда Юлий Харитон был еще маленьким ребенком.

С 13 лет Юлий Харитон поступил на работу — сначала в библиотеку письмоводителем, а в 15 лет стал учеником механика. При этом продолжал учиться в реальном училище, по окончании которого в 15 лет пытался поступить в Технологический институт, куда его не взяли по молодости лет.

Через год, в 1920 году, он поступил на электромеханический факультет Петроградского политехнического института, в 1921 году перешел на физико-механический факультет, в 1925 году окончил институт.

В 1921 году, будучи студентом, Юлий Харитон начал работать в Физико-техническом институте в лаборатории Николая Семенова. В 1924 году вышла его первая научная работа, посвященная изучению конденсации металлических паров. В 1925-1926 годах Юлий Харитон занимался исследованиями и открыл явление нижнего предела по давлению кислорода, а также влияние на этот предел примесей инертных газов.

С 1926 года по 1928 год он находился в научной командировке в Кавендишской лаборатории в Кембридже (Великобритания), где работал под руководством Эрнеста Резерфорда и Джеймса Чедвика. Во время пребывания в Англии защитил диссертацию и получил степень доктора философии.

В 1928 году, вернувшись на родину, Харитон возобновил исследования в руководимом Семеновым физико-химическом секторе Физико-технического института и вскоре приступил к систематической работе над вопросами теории взрывчатых веществ.

В 1931-1946 годах он руководил лабораторией взрывчатых веществ в Институте химической физики Академии наук СССР (Ленинград). Занимался теорией взрывов, горения и детонации, основал советскую школу физики взрывов. В 1936 году развил общую теорию центрифужного разделения газовых смесей, выводы которой справедливы и для случая разделения изотопов. В 1939-1941 годах Юлий Харитон и Яков Зельдович впервые осуществили расчет цепной реакции деления урана в реакторе.

В 1943 году Игорь Курчатов привлек Харитона к работам по атомному проекту СССР. В Лаборатории № 2 АН СССР Юлий Харитон являлся научным руководителем сектора №3, созданного для проектирования атомной бомбы.

С 1946 года по 1952 год Харитон был первым заместителем директора — главным конструктором конструкторского бюро КБ-11, организованного на базе одного из заводов Наркомата боеприпасов в поселке на юге Горьковской области (ныне город Саров Нижегородской области) для создания атомной бомбы и в 1950 году ставшего самостоятельной организацией (в настоящее время — Российский федеральный ядерный центр "Всероссийский научно-исследовательский институт экспериментальной физики", ВНИИЭФ).

В 1959-1992 годах Юлий Харитон был научным руководителем, а с 1992 года по 1996 год — почетным научным руководителем ВНИИЭФ.

К работе над реализацией ядерно-оружейной программы под руководством Харитона были привлечены лучшие физики СССР. Эти работы завершились испытанием советских атомной (29 августа 1949 года) и водородной (12 августа 1953 года) бомб.

Юлий Харитон — член-корреспондент Академии наук СССР с 1946 года, академик — с 1953 года. В начале 1990-х годов принимал активное участие в создании Международной академии информатизации и в организации ее отделения в городе Сарове.

Юлий Харитон — трижды Герой Социалистического Труда, лауреат Ленинской и трех Государственных премии CCCP. Награжден пятью орденами Ленина, орденом Октябрьской Революции, боевым орденом Красной Звезды, другими орденами, медалями, в том числе Большой золотой медалью имени М. В. Ломоносова АН СССР (1982) и Золотой медалью И. В. Курчатова (1974).

Юлий Харитон скончался 19 декабря 1996 года в городе Саров Нижегородской области. Похоронен на Новодевичьем кладбище в Москве.

Бюст ученого установлен в Санкт-Петербурге на Аллее Героев Московского парка Победы. В 1997 году в городе Сарове улица Тольятти была переименована в улицу Академика Харитона.

В 2004 году на доме (№ 9 по Тверской улице), в котором Харитон жил в Москве, была установлена мемориальная доска.