Некогда здесь находился языческий храм. Татар-качинцы прозвали это место Кум-Тэгэй, что в русском языке аналогично словосочетанию Черная сопка. Русские поселенцы сперва возвели здесь вышку из дерева, где казаки посменно заступали в караул, чтобы своевременно предупредить жителей острога о нападении врагов. В таких случаях зажигался костер, и острог готовился к осаде. Часовня, сперва также деревянная, появилась к 1805 году. Лишь спустя 50 лет архитекторы Я. Алфеев и Я. Набалов спроектировали новую каменную восьмигранную часовню в стиле древнерусских построек: окна прикрывают изящно скованные решетки, обрамленные проемами, напоминающими по форме кокошник. Проект реализовали за счет средств известного золотопромышленника Красноярска Петра Кузнецова. Смотровая площадка, расположенная на вершине Караульной горы — одна из лучших точек для обзора города. Панорама отсюда поистине чудесная: Стрелка, долины рек Енисей и Кача, Коммунальный мост, Николаевская сопка, проспект Свободный, зубцы скалы Такмак, расположенной на правом берегу. Здесь частенько любил писать местный художник Василий Суриков, снискавший славу по всей России. Здесь же затмение солнца наблюдал советский учёный А. Попов, известный тем, что изобрел радио. В честь приезда ученого установлена мемориальная доска на одном из фасадов часовни. Часовня великомученицы Параскевы Пятницы с 1980 года пополнила список местных архитектурных памятников. Реставрацию с достаточно серьёзными изменениями внутри и снаружи провели в 1996 году: стены расписали фресками, провели отопление, маковка значительно увеличилась в размерах. Часовня Параскевы Пятницы — не просто городской символ, она напоминает о красноярской вольности и духе, о боевом прошлом города. Кроме того, это буквально изобилующее захоронение периода 13-14 вв. Вероятно, Кум-Тэгэй считалась священным участком среди представителей Езерского княжества енисейских кыргызов, куда входил некогда современный Красноярск. Богатые предметы, найденные здесь археологами, указывают на то, что на горе хоронили членов знатного рода князей, вероятно, правивших этими территориями. Часть предметов из захоронения можно увидеть в Краеведческом красноярском музее. В 2008 году официально открыли сквер со Святым источником Параскевы Пятницы. Ощутить целительную силу источника приезжают в наш город паломники из многих городов и даже стран, включая Европу. Изображение часовни, еще не отреставрированной, поместили на лицевую сторону 10-рублевой банкноты от 1997 года, что, безусловно, вызывает дополнительную гордость красноярцев за родные края.

На вид это обычный шар из гранита, но когда фонтан начинает работать, происходит чудо: тяжелая каменная сфера как будто теряет в весе и поднимается в воздух. Если до нее в этот момент дотронуться, то она начинает вращаться. «Плавающий шар» — одна из самых популярных достопримечательностей города: к нему постоянно приезжают туристы ради памятных фотографий, также это излюбленное место для прогулок горожан.