Khi Cao Biền ở trấn nước Nam, giữ phủ xưng vương, đắp rộng thêm thành La Thành. Đắp xong, một buổi trưa, đứng ngoài cửa đông ngóng xem, bỗng nhiên mưa gió ầm ầm, rồi có một đám mây ngũ sắc, tự dưới đất bốc lên, khí sáng ánh ra tứ phía. Lại thấy có một người ăn mặc đường bệ, cưỡi con cầu long (rồng chưa có sừng) nửa vàng nửa đỏ, tay cầm hốt vàng, đứng trong đám mây, có bóng thấp thoáng lên xuống, lâu lâu thì tan mất.

Cao Biền lấy làm lạ lùng, nghi là ma quỉ, muốn thiết đàn cúng cấp, dùng phép trấn áp.

Đêm hôm ấy, nằm mơ thấy thần lại bảo rằng:

- Xin ông chớ nghi tôi, tôi là thần chính khí ở đất Long Đỗ này, chớ không phải ma quái nào.

Cao Biền tỉnh dậy, hội các quan lại bảo rằng:

- Ta không trị nổi được xứ này hay sao? Sao mà lắm ma quỉ hiện ra thế, hoặc là điềm gở gì đây chăng?

Chúng xin thiết đàn, bày hình tượng thần ấy, rồi dùng nghìn cân sắt, làm bùa trấn yểm.

Cao Biền nghe lời lập đàn cúng bái, rồi chôn nghìn cân sắt để yểm. Hôm sau, trời đất tối tăm mù mịt, mưa gió ầm ầm, rồi có tiếng sét đánh vào chỗ yểm bùa, sắt tan vụn bay đi mất cả. Biền thấy vậy sợ hãi, mới lập đền ở trong phố để thờ thần ấy. Về sau, vua Lý Thái Tổ thiên đô lên Thăng Long, mơ thấy thần lại mừng. Vua tỉnh dậy, sai các quan đem lễ đến tế, phong làm Thăng Long thành hoàng đại vương.

Bấy giờ vua mở ra chợ cửa đông, cho dân buôn bán, miếu thờ ngài ở bên cạnh đường, thường có hỏa tai, cháy lây cả một dãy phố, chỉ miếu của ngài là không động gì đến. Mỗi khi nhà vua làm lễ nghênh xuân, thường vẫn cúng trong miếu ấy.

Triều nhà Trần, ở phố ấy ba lần có hỏa tai, mà không lần nào động đến miếu; và một lần có sét đánh cũng không việc gì.

Thái sư là Trần Quang Khải có đề một bài thơ rằng:

Xưa nghe lừng lẫy tiếng anh linh,
Ma cũng ghê mà quỉ cũng kinh.
Ngựa lửa ba phen thiêu chẳng tới,
Roi lôi một trận đánh không chênh.
Chỉ tay đè nén trăm loài quỉ,
Quát tiếng trừ tan mấy vạn binh.
Nhờ đội oai thần xua giặc Bắc,
Khiến cho non nước lại thanh bình.

Trần triều phong là: “Thuận dụ phu ứng đại vương”. Đền ở phường Hà Khẩu huyện Thọ Xương, gọi là thần Bạch Mã (Bây giờ tức là đền Bạch mã ở phố Hàng Buồm).