При дворе он числился инженером и астрологом, а среди москвичей о нем ходили легенды как о колдуне.

С его именем связано немало странных и до сих пор необъясненных явлений и событий, происходивших в период правления Петра. Дом на Мясницкой улице, принадлежавший Брюсу, среди суеверных людей считался "обителью дьявола". В настоящее время посещение дома Брюса входит в цикл экскурсий "Приведенья Москвы".