Thế kỉ thứ nhất sau Công Nguyên, ở nước Nam có người quê ở Đường Lâm, Sơn Tây tên là Hà Vi Hưng, vợ là Đậu Thị Loan vốn làm nghề nho y, tuổi cao mà vẫn chưa có con nối dõi. Ông bà rất chăm lo làm việc thiện.

Nghe nói ở huyện Đông Ngàn, Phủ Từ Sơn, bộ Vũ Ninh, đạo Kinh Bắc có một ngôi miếu linh thiêng. Ông bà sắm sửa hương hoa đi cầu tự. Qua cầu Cốn đến bờ đê Hoàng Giang ông bà dừng chân bên miếu dâng lễ bái yết thần linh khẩn cầu xin quý tử. Đêm đó ông bà ngủ lại trong miếu. Bỗng nhiên, ông trông thấy mây ngũ sắc như hình con rồng sà xuống, ít lâu sau bà mang thai.

Ngày 9-2 năm Giáp Ngọ sau Công Nguyên bà sinh được cậu con trai khôi ngô tuấn tú đặt tên là Hà Vị Uyên. Cậu bé thông minh học giỏi, năm 13 tuổi say mê đọc binh thư, luyện tập võ nghệ. Năm 18 tuổi, Hà Vị Uyên đã chiêu tập được 200 trai tráng trong vùng lập cơ đội, luyện tập võ nghệ, xây dựng trận đồ đánh giặc.

Năm 40 theo hịch truyền của Nhị vua Hai Bà Trưng, đức ông Hà Vị Uyên đem đội tráng binh về tụ nghĩa cùng hai Bà Trưng đánh đuổi giặc phương Bắc xâm lược.

Thấy ông là người văn võ toàn tài, Nhị vua Hai Bà đã phong cho ông làm chỉ huy sứ tả tướng quân, cấp thêm 2000 binh sĩ nhận nhiệm vụ trấn giữ vùng Tây Bắc Nhị Đạo chặn đường tấn công của giặc. Ông đã lập được nhiều chiến công góp sức cùng nghĩa quân giải phóng đất nước. Hai Bà Trưng thu lại 65 thành trì và đất đai cho nước Nam.

Ngày 12/11 Ông hóa. Trưng Vương vô cùng thương tiếc sai người về làm tang lễ và phong cho ông làm Trung đẳng phúc thần, đồng thời ra chiếu cho làng Hạ Dương Thượng sửa sang đình miếu để thờ phụng. Vua Lê Đại Hành (980-1005) đi ký qua đã truy phong cho Ngài “nhất phong bản cảnh linh ứng Đại Vương” .

 Các triều đại tiếp theo đều có sắc phong. Theo thần phả (của đình) hiện thờ 2 vị thánh và lưu giữ 24 sắc phong. Hoàng Uyên tôn thần có 11 sắc phong. Trung Thiên Đao Lợi Đại Phạn Thiên Vương có 8 sắc phong.

Ngoài ra đình làng Hạ Dương Thượng đang thờ 4 vị tả hữu hậu thần có công trong sự nghiệp xây dựng và bảo vệ Tổ quốc.

Năm 1986 bộ văn hóa, thể thao và du lịch cấp bằng Di tích lịch sử văn hóa - xếp hạng.

Để tưởng nhớ công lao đánh giặc giữ nước của các vị anh hùng, hàng năm nhân dân thôn Thượng, xã Dương Hà mở hội tế lễ từ ngày 9-2 (âm lịch) đến ngày 16-2 (âm lịch) với nhiều trò chơi dân gian truyền thống.

Theo thông lệ cứ 5 năm mở hội chính một lần, bên cạnh hội lệ mở thường niên. Ngày nay, do điều kiện khách quan hội làng được rút lại, diễn ra từ ngày 9-2 đến ngày 12-2 âm lịch hàng năm.

Về kiến trúc hiện nay đình được xây dựng theo kiểu chữ “đinh” và còn giữ lại được khu cửa võng tương đối đầy đủ và nguy nga hiếm thấy trong vùng, với đôi câu đối:

“Miếu mạo nguy nga quang nhật nguyệt.

Thần công hiển hách ánh càn khôn”

Tạm dịch là: “Miếu mạo nguy nga sáng tựa mặt trời, mặt trăng. Chiến công hiển hách bao trùm cả vũ trụ”