Замок предположительно существовал ещё во времена Киевской Руси (как детинец древнерусского града), однако каменный замок построили литовские князья Кориатовичи. С 1362 по 1434 гг. крепость в комплексе с оборонными сооружениями города стала главным форпостом литовской, а с 1434 по 1793 гг. — польской власти в Подолье, и играла значительную роль в отражении турецко-татарских походов на Запад.