Pierwsza pisemna wzmianka o Szydłowcu pochodzi z 1360 roku. Kazimierz Wielki przeniósł Szydłowiec wraz z kilkoma innymi wsiami z prawa polskiego na średzkie. Wsie te należały do Jakuba, Mikołaja i Piotra z Chlewisk, z rodu Odrowążów. Prawdopodobnie w pierwszej połowie XIV wieku, pół kilometra na wschód od Starej Wsi, powstała niewielka osada targowa przy zbiegu lokalnych dróg. Można przypuszczać, iż nową osadę traktowano jako uzupełnienie istniejącej już wsi, określono ją bowiem tą samą nazwą – Szydłowiec. Wspólna nazwa dla dwóch organizmów osadniczych występuje jeszcze w dokumentach z 1433 roku, 1470 roku, u Jana Długosza i w przekazie z 1519 roku, dopiero w dokumencie z 1525 roku dawna wieś Szydłowiec nazwana jest po raz pierwszy Starą Wsią.

   Pomimo przynależności do województwa mazowieckiego jego położenie geograficzne nie ma związku z Mazowszem, gdyż miasto znajduje się w zachodniej części Przedgórza Iłżeckiego, które z kolei wyodrębnia się spośród jednostek Wyżyny Kieleckiej. Szydłowiec położony jest na platformie paleozoicznej. Występuje tu wiele surowców takich jak głębokie rudy żelaza, wapień, margiel, gliny ogniotrwałe i ceramiczne, piaskowiec wielu odmian, od żółtego do czerwonego, oraz obfite zasoby piasku i żwirów wydobywanych do dziś.

   Zamek w Szydłowcu zawdzięcza swoje powstanie przybyłym z Moraw rycerzom z rodu Odrowążów. To oni, po przybyciu w XIII do Polski, wybudowali na sztucznie usypanej wyspie (do dziś zamek otacza fosa) swą pierwszą, prawdopodobnie drewnianą, rycerską siedzibę. Podczas badań archeologicznych przeprowadzonych na początku lat sześćdziesiątych w północnej części wyspy, poza terenem obecnego zamku, znaleziono szczątki drewnianych konstrukcji pierwotnej siedziby rodu. Badania prowadzone kilka lat później pozwoliły na odkrycie śladów osadników na terenie obecnego dziedzińca zamkowego. Po zewnętrznej stronie północnego skrzydła zamku archeologowie odkryli pozostałości po wspominanej w dokumentach z 1427 pierwotnego dworu. 

   Budowa zamku rozpoczęła się w połowie XV w. Właścicielem włości rodowych był wtedy Stanisław Szydłowiecki, od r. 1467 marszałek dworu królewskiego. Wówczas został wzniesiony północny budynek mieszkalny oraz wieża bramna. Dojazd do wieży umożliwiał most stały (kamienny) i zwodzony (most zwodzony nie zachował się). Dom mieszkalny zbudowany został z kamienia, na planie prostokąta. Na wszystkich czterech kondygnacjach mieściły się po trzy pomieszczenia w podziemiu sklepione, a wyżej kryte stropami. Wieżę bramną zbudowano z kamienia. Jest trzykondygnacyjna, wsparta czterema narożnymi skarpami, w przyziemiu ma przejazd z ostrołukowymi otworami bramnymi. O budowlach tych znaleziono wzmianki w dokumentach pochodzących z około 1517 r.

   W roku 1509 roku Szydłowiec objął w posiadanie kasztelan radomski i podskarbi koronny Mikołaj Szydłowiecki. Do czasu swej śmierci w roku 1532 przekształcił on średniowieczny zameczek w renesansową rezydencję.
Zamek zyskał reprezentacyjne pomieszczenia. Zostały zbudowane trzy jednotraktowe skrzydła mieszkalne, jednocześnie otaczając z trzech stron dziedziniec, zamknięty z czwartej strony murem parawanowym. W komnatach dodano stropy kasetonowe, fryzy i polichromie ścienne. 
Po śmierci Mikołaja Szydłowieckiego zamek i włości przeszły na własność rodziny Radziwiłłów. Zostały wniesione jako wiano przez bratanicę Mikołaja Szydłowieckiego – Elżbietę, która została właścicielką po śmierci stryja i wkrótce wyszła za mąż za Mikołaja Czarnego Radziwiłła.

   W roku 1821 po bezpotomnej śmierci ostatniego Radziwiłła z linii Mikołaja Czarnego zamek kupiła Anna Sapieżyna. Była właścicielką do roku 1828, kiedy to odsprzedała zamek rządowi Królestwa Polskiego. W II poł. XIX wieku popadł w ruinę. Prace nad przywróceniem dawnej świetności siedziby znamienitych rodów rozpoczęły się dopiero po II wojnie światowej. Obecnie w zamku mieści się: Szydłowiecke Centrum Kultury – „Zamek”, Biblioteka Publiczna, Muzeum Ludowych Instrumentów Muzycznych oraz kawiarnia.

   Na wewnętrznej stronie parawanowego muru można podziwiać świetnie zachowany herb Odrowążów, którym posługiwał się też ród Szydłowieckich.

   Ratusz renesansowy wzniesiony w latach 1602 –1629 należy do najlepiej zachowanych późnorenesansowych obiektów w Polsce. Jego budowniczymi byli Włosi: Kasper i jego brat Albrecht Fodyga. Po ukończeniu budowy przed frontem ustawiono pręgierz. Na wieży ratusza umieszczono renesansowy hełm (częściowo różniący się od obecnego), niewielkie hełmiki na bocznych wieżyczkach oraz zegar. Ratusz otynkowano no biało a w attyce wymalowano Mękę Pańską metodą sgraffito. Budynek przebudowywano w latach 1809, 1918, i 1945 roku ostatecznie powracając do pierwotnej formy.

   Ratusz zbudowany jest na planie prostokąta. W części wschodniej budowli umieszczona jest wysunięta na zewnątrz wieża, wzniesiona na planie kwadratu, u góry ośmioboczna. Wieża sklepiona jest kopułą z sygnaturką. Poniżej znajduje się balkon, a pod nim trzy zegary. W podziemiu wieży znajdowało się więzienie. Obecnie ratusz jest siedzibą instytucji miejskich. 

   Kościół farny św. Zygmunta wzniesiony przez Jakuba Szydłowieckiego w końcu XV wieku, na miejscu wcześniejszego drewnianego. Budowę ukończył ok. 1525 roku brat Jakuba Mikołaj, który także ufundował większość wyposażenia kościoła. Wzniósł także od południa kaplicę – nekropolię rodową, w której spoczęły prochy jego samego, jego ojca Stanisława oraz brata Jakuba. 

   Kościół jest orientowany, murowany z miejscowego piaskowca. Składa się z trzyprzęsłowego prezbiterium oraz prostokątnej nawy, dużo szerszej i wyższej. Od północy do prezbiterium przylegają gotycka zakrystia i skarbczyk. Z kolei do nawy od południa przylega kaplica Najświętszej Marii Panny, zaś od północy kaplica św. Stanisława i kruchta. Mury kościoła opięte są skarpami. Wewnątrz cenne są drzwi w portalu wiodącym do zakrystii oraz portale (do zakrystii i krucht). Prezbiterium sklepione jest gwiaździście – wykonano je według projektu rozrysowanego na północnej ścianie nawy. W ścianie prezbiterium znajduje się płyta nagrobna Mikołaja Szydłowieckiego pochodząca być może z warsztatu Berrecciego, wykonana z czerwonego marmuru. Nawa posiada polichromowany strop (obecny – z pierwszej połowy XVIII w., pierwotny strop znajdował się niżej). Na ścianach i stropie pierwotnym polichromie stworzył Stanisław Samostrzelnik. Chrzcielnica kamienna jest późnogotycka, ufundowana przez Mikołaja Szydłowieckiego, również udekorowana herbami. 

   Obok kościoła na cmentarzu stoi dzwonnica z XVI w. W murze cmentarnym znajduje się pośród płyt epitafijnych także głowa meduzy z XVII w.

   W Szydłowcu znajdują się jeszcze inne cenne zabytki, a miasto otacza strefa chronionego krajobrazu, ale niestety nie starczyło nam na wszystko czasu.