Xuất xứ từ Thiên Nam cổ tích Theo sách Sử ký của Đỗ Thiện,thần chính là tinh của Long Đỗ. Xưa,Cao Biền làm Đô hộ An Nam,đắp thành Đại La để ở. Một hôm,Biền ra chơi cửa Đông,bỗng thấy mây vần vụ,có một đám mây ngũ sắc đùn lên,rực rỡ chói sáng. Giữa đám mây có một người thân cao mấy trượng,áo mũ kỳ vĩ,cưỡi con rồng đỏ,tay cầm thẻ vàng,lượn ở trên không một lúc lâu rồi biến mất. Biền kinh ngạc cho là linh quỉ,định dựng đàn để yểm đảo. Đêm ấy,Biền mơ thấy người ấy đến,bảo:" Ngài chớ nghi ngờ,tôi không phải là yêu khí,mà là tinh Long Đỗ đây. VVì ngài mới xây xong thành nên hiển hiện đấy thôi". Biền buồn bã tỉnh dậy nói với thuộc hạ. Có người nói:" Chúng ta không hàng phục được người phương xa hay sao? Sao lại để cho ma quỉ bên ngoài nhòm ngó,làm việc chẳng lành như vậy? Xin cho dựng đàn tràng,đặt làm hình tượng dùng sắt làm bùa nặng ngàn cân,cầu khấn ba ngày ba đêm,rồi chôn bùa chỗ ấy để yểm trừ!" Biền cho là phải,liền cho thực hiện. Bỗng thấy trời đất tối sẫm,sấm sét nổi lên,gió mưa ập xuống .Trong khoảnh khắc,lại thấy bùa bật lên trên đất,tan thành tro bụi. Biền cả sợ than rằng :"Xứ này có vị thần linh dị,không thể ở lại lâu dài,ta nên trở về phương Bắc,nếu không sẽ có chuyện chẳng lành ".Một thời gian sau,vua Hy Tông có chiếu gọi về,Biền quả nhiên bị giết,Cao Trâu Lỗ sang thay. Từ đó,mọi người đều kinh sợ,làm đền ngay bên cạnh chợ Kinh sư để thờ thần. Sau này,vua Lý Thái Tổ dựng kinh đô ở đây,mơ thấy thần đến chúc mừng.Vua nói:" Thần có giữ được hương hỏa mãi không?"Thần trả lời:"Chỉ mong phúc nước kéo dài ức vạn năm thì không chỉ thần giữ được hương hỏa ức vạn năm".Tỉnh dậy,vua cho dùng trâu,rượu tế thần phong làm "Thăng Long thành hoàng đại vương ".Bấy giờ có gió bão nổi lên,làm hỏng nhà cửa,nhưng đền vẫn vững vàng,nên lại phong thần làm "Quí Minh đại vương".Mỗi khi có lễ đón xuân,đều tiến hành ở đền này. Đến triều Trần,nhiều lần xảy ra hỏa hoạn,nhưng đền vẫn không bị cháy.Trần Quang Khải có bài thơ như sau: Tích văn hách trạc đại vương linh, Kinh nhật đắc trí quỉ đảm kinh. Phong hỏa tam thiêu từ bất động, Phong lôi nhất trận thiết thành khinh, Hô hấp tiêu trừ bách vạn binh, Nguyện phục dư uy tối bắc địch Sơn hà y cựu yếu nhiên thanh (1) Dịch: Xưa nghe hiển hách nổi uy linh, Lửa cháy ba phen đền vẫn đó, Bão giông một trận sắt thành khinh, Trỏ tay chế ngự ngàn gian tặc ,Vận khí tiêu trừ vạn ức binh, Xin dựa dư uy ngăn giặc Bắc, Non sông vẫn mãi hưởng thanh bình. Chú thích:(1) Nguyên văn bài thơ của Trần Quang Khải (1241-1294)hiện còn cái biển ghi chép sơn son ở đền Bạch Mã,Hàng Buồm,Hà Nội .Bài thơ do Nguyễn Hãng dẫn lại ở đây có một số chữ khác biệt so với bàn của Vũ Quỳnh (BVN).Trần Quang Khải còn là tác giả bài thơ nổi tiếng: Cầm hồ Hàm Tử Quan Thái bình tu trí lực Vạn cổ thử giang san. Dịch: Chương Dương cướp giáo giặc Hàm Tử bắt quân thù Thái bình nên gắng sức Non nước ấy nghìn thu.