斯巴达王廷达柔斯被他的兄弟希波科翁逐出了他的王国，廷达柔斯流浪来到埃托利亚国王忒提斯奥斯的国度，并娶了国王的女儿丽达。后来另一英雄赫拉克勒斯战胜了希波科翁，将他所有儿子都杀死后，廷达柔斯就和他的妻子丽达回到斯巴达统治。丽达非常的美丽，宙斯看见她后就立刻爱上了她。宙斯化身为一只天鹅，依偎到美丽的斯巴达王后丽达身边。
后来，丽达生下了两颗天鹅蛋，一颗孵出卡斯托尔,波吕克斯两兄弟，另一颗诞生了克丽泰梅丝特拉、及天下第一美女海伦。虽然四个兄弟姐妹是出生自同一个母亲，可是他们却有着不同的父亲。卡斯托尔及克丽泰梅丝特拉的父亲就是原本的斯巴达国王廷达柔斯Tyndareus，而波吕克斯x及海伦的父亲才是宙斯。不过斯巴达国王对他们都如同亲生。兄弟二人喜欢冒险，而他们的经历里面由「阿哥号」的故事最为出名。
希腊的伊奥柯斯王子杰生长大成人后要求叔父归还王位，怎料到叔父要求杰生到科尔奇斯取回金羊毛才愿意退出。于是杰生决定出征。他从各地招募50名勇士，从希腊出发。除了卡斯托尔,波吕克斯外，还有海格力斯（赫拉克勒斯的罗马名)、大音乐家奥菲斯、医师亚斯克雷皮欧斯等著名勇士同行。「阿哥号」在海上航行的时候，突然起了很大的风暴，眼看船要被卷入海里，奥菲斯站在船边弹奏竖琴，向神祈求，而在这对孪生兄弟头上各有一颗大星亮了起来，赋予他们平定暴风的力量。
因此，双子兄弟被奉为航海的守护神。在经历了各种的危险后「阿哥号」平安到达，取回金羊毛给杰生。其后二人仍向不同的冒险进发。卡斯托尔和波吕克斯分别绑架和娶了Leucippus的两个女儿，她们分别是菲比和Hilaeira。据说Hilaeira一直爱着波吕克斯。可是Leucippus的两个侄子Idas和Lynceus,同时也非常的喜欢这两姐妹。因此Idas和Lynceus跟双子兄弟发生了冲突。
在一个格斗中，Lynceus杀死了卡斯托尔Castor。卡斯托尔死后，只留下不死身波吕克斯。于是波吕克斯向宙斯请求，希望能够与卡斯托尔共赴黄泉。宙斯于是同意两兄弟轮流在天上和冥界生活。庆祝双子兄弟的节日是七月十五日。古罗马还为这对双胞兄弟建立了神庙：卡斯托尔波吕克斯神庙。双子座的两个最亮的星星就是以两兄弟的名字而命名的：卡斯托尔＆波吕克斯，永远的双子星。
