La historia de los Garifunas comienza antes del año 1635 en la isla de San Vincente(Yurumain) en el Caribe. San Vincente estaba habitada por una tribu de Indios que se llamaban a sí mismos los Arahuacos. La tribu Callinagu, que eran guerreros procedentes del delta de Orinoco en sudamerica, invadieron San Vincente y conquistaron a los Arahuacos. Una vez que lograron la conquista de las Antillas Menores, eliminaron a todo el sexo masculino de la comunidad Arahuaca pero conservaron al sexo femenino. Muy pronto comenzó la mezcla entre estos grupos y la unión de estas dos razas indias dio origen a una sociedad totalmente nueva llamada Calipona o caribes rojos.
Cuenta la historia que en 1635 dos barcos españoles, cargados de esclavos negros,  naufragaron, los cautivos escaparon y nadaron hasta las costas cercanas, evitando asi ser entregados a sus nuevos  propietarios.


Los nuevos habitantes africanos estaban ansiosos por establecer lazos amistosos con los nativos del lugar, los Caliponan, para que de esta forma evitar caer en manos de sus compradores. Por lo tanto ellos adoptaron sus costumbres y lenguaje nativo y pronto contrajeron matrimonio con las mujeres Caliponan dándole de esta forma el nacimiento a una raza nueva. Sus descendientes preservaban la estatura y el color de piel de sus padres, que a diferencia de los Caliponan eran altos y corpulentos.
 La palabra "Garifuna", que significa "la gente que come yuca", desciende probablemente del "Calipona". Los Españoles llamaron a esta gente "Caribes", que significa caníbales, y es el origen del término "caribeño".
Con el paso del tiempo, San Vincente fue colonia Británica y los Caribes negros trataron de establecer un control independiente de la isla. Los Franceses apoyaron a los Caribes y hubo muchas batallas entre los Garifunas y los Británicos. La batalla más grande tuvo lugar en 1795 y ambos contendientes sufrieron grandes pérdidas. En 1796 los Garifunas y los Franceses se rindieron a los Británicos. En ese momento a los Británicos se les generó un problema. Los Garifunas eran hombres libres con la piel negra y San Vincente estaba poblada por los esclavos de los Europeos. La idea de un grupo de hombres negros libres viviendo entre ellos en la isla, era tan inaceptable que los Británicos decidieron deportar a los Garifunas. Los  rodearon y cazaron, asesinando a centenares y destruyendo sus hogares y cultura. Los restantes 4,300 Garifunas fueron embarcados a Balliceaux donde la mitad de ellos murió de fiebre amarilla.
En 1797 los Garifunas sobrevivientes fueron fletados a la Isla de Roatan frente a la costa de Honduras. A lo largo del viaje, los Españoles capturaron uno de los buques Británicos llevándolo a Trujillo donde los Garifunas fueron liberados. Luego los Españoles arrebataron la Isla de Roatan a los Británicos. Los Españoles capturaron a 1,700 Garifunas en la isla y los llevaron a Trujillo donde los obreros eran muy necesitados.
Los primeros Garifunas en la costa de Belice fueron traídos como leñadores por los Españoles en 1802. Se asentaron en el área cercana a Stann Creek, lo qué ahora es Punta Gorda. Al tiempo, Belice fue ayudada por los Británicos y pasó a llamarse la Honduras Británica.