В 1383 році князь литовський Вітовт дарує землі між річками Мурафою й Мурашкою своєму вірному васалові Василю Карачевському.  Потім ця місцевість називалась Карачева Пустинь. Через 200 років цими землями вже володіли магнати Замойські. 26 березня 1579 року король Стефан Баторій своїм універсалом повеліває канцлеру Речі Посполитої Яну Замойському збудувати тут фортецю. Останній береться за справу грунтовно і в 1585 році відомий архітектор-фортифікатор, італієць за походженням, Бернардо Морано на високому мисі закладає 5-ти бастіонний замок. Укріплення отримує назву Шаргород на честь католицького святого Флоріана Шарого.

В 1588 році король Сигізмунд ІІІ надає Шаргороду Магдебурдію, герб, торгові та митні привілеї.. Всі купці, що проїзджали через місто були зобов’язані на два дні виставляти для вільного продажу свої товари. Нові жителі Шаргорода звільнялися від всіх повинностей й мита на 20 років. Крім того можна було вільно торгувати з татарами, турками, волохами.
Кінець 1580-х років час активного заселення євреями Шаргорода. Вже в 1589 році в місті зводиться синагога. До неї був прибудований хедер (школа для хлопчиків). Шаргородська синагогою одна з  найстаріших в Україні. Вона зведена в так званому оборонному стилі і в її атиках й сьогодні можна побачити бійниці для ведення верхнього обстрілу.

В 1595 році також побудований костел св..Флоріана.

Все в той же, 1595 рік, Шаргород здобувають повсталі козаки під командуванням С.Наливайка, але місто швидко відновлюється.
В роки визвольної війни Хмельницького, в серпні 1648 року, Шаргород беруть козаки Максима Кривоноса й Івана Ганжі (вирізали при цьому всіх євреїв). В березні 1649, місто витримало осаду трьох польський полків і лише в 1650-му році Шаргород відбиває в козаків Марцин Калиновський. В 1653 році Шаргород знову в руках Б.Хмельницького, але все ж Поділля на довгі роки залишається під владою Польщі.
В 1656 році в Шаргороді й багатьох інших українських містах побував турецький мандрівник Евлія Челебі. Він залишив опис Шаргорода, як укріпленого пятибастіонним замком міста, що обнесене дерев’яним частокілом, земляним валом та ровом з водою. Фортеця мала добрий арсенал та дальнобійну артилерію.
З 1672-1699 Шаргород належав Туреччині і входив в так зване Сарматське князівство.  Турки, які цінували торгівлю заохочують переселення з Порти до Шаргорода єврейських родин. Синагогу вони переоблаштували під мечеть, а саме місто стали називати Кучук-Стамбул (Малий Стамбул). В період турецького панування, в 1675 році, місто спробував взяти козацький полковник Морозенко, але його загін був розбитий, а сам він страчений османами, які вирвавши язика, прибили його цвяхами до воріт Шаргорода.
З 1699 року, Шаргород знову в складі Польського королівства. Життя міста налагоджується. В 1717 відбудовується костел Св..Флоріана. Були спроби відбудувати й замок, але з розвитком артилерії він втрачає своє військове значення.

В 1840-ві роки тут вчився відомий український поет Степан Руданський (1834-1873).

Видатний український письменник Михайло Коцюбинський (1864-1913) вчився в Шаргороді в інший час, в 70-ті роки.
Дещо пізніше тут також вчився і відомий український композитор, майстер українського хорового мистецтва Микола Леонтович (1877-1921), автор класичного «Щедрика».

Незважаючи на зв''язок міста з такими визначними діячами української культури, Шаргород залишався класичним єврейським містечком. В кінці ХІХ століття в місті було 6 синагог, на початку ХХ – вже 9 . Єврейська громада Шаргорода під час громадянської війни декілька разів страждала від погромів. Після закінчення війни, в середині 1920-х років в місті був створений єврейський колгосп «Красный Пахарь». В 1926 році євреї складали 61% від загальної кількості населення. Під час Другої світової війни територія південного Поділля  входила до  Трансністрії. В місті було створене гетто куди переселялися євреї Бессарабії, Буковини й самої Румунії. Його чисельність доходила до семи тисяч євреїв. Масових розстрілів румуни не проводили.

1923 року Шаргород стає районним центром, з населенням 2450 чоловік. Довоєнний період позначився розвитком господарства і промисловості. 22 липня 1941 року гітлерівці захопили Шаргород і панували тут до 20 березня 1944 року, доки війська 2-го Українського фронту не звільнили містечко. Після війни Шаргород став відновлювати господарство.

Тепер Шаргород — впорядковане містечко, районний центр Вінниччини. Єврейське населення Шаргорода близько 500 осіб.