Vào ngày 15 và 17 tháng 8 năm 2006, một nhóm các ngân hàng tại Hà Nội và Thành phố Hồ Chí Minh đã gặp nhau để trao đổi quan điểm và ý tưởng về sự phát triển của thị trường trái phiếu Việt Nam. 

Vào ngày 26 tháng 1 năm 2007 tại Hà Nội, 37 tổ chức tài chính hoạt động tại Việt Nam đã cùng ký Biên bản ghi nhớ tham gia thành lập Diễn đàn Thị trường Trái phiếu Việt Nam và đạt được thỏa thuận hợp tác thành lập Hiệp hội Thị trường Trái phiếu Việt Nam. Ngày 22 tháng 7 năm 2008 đánh dấu việc Bộ Tài chính chính thức chấp thuận cho Ban vận động thành lập Hiệp hội Thị trường Trái phiếu Việt Nam. Ban vận động thành lập hoạt động có hiệu quả và được Bộ Nội vụ Việt Nam chính thức cấp giấy phép thành lập Hiệp hội vào ngày 22 tháng 5 năm 2009. Đại hội thành lập VBMA đã được tổ chức thành công vào ngày 14 tháng 8 năm 2009 tại Hà Nội với 60 thành viên tham gia là các thành viên sáng lập. 

VBMA đã tổ chức 4 kỳ Đại hội và kỷ niệm 10 năm thành lập vào tháng 12 năm 2019.