迦罗迦伐蹉尊者出生于古印度玛伽德哈地方，家庭很富裕。他出生时，家中显出诸多瑞兆，在他出生的同时，他家的母象也产下一只象仔。这个小象尿金屙金，非常罕见，父母因此给孩子取名叫迦罗迦伐蹉，意为“金象仔”。

当迦罗迦伐蹉长大时，金象也长大了，他和小象成了一对不可分离的好朋友，外出玩耍时总要骑在金象的背上。有一天，他同一些小朋友一起玩耍，大家互相谈论起家中的财宝。迦罗迦伐蹉也兴致勃勃地告诉同伴说，他有一头金象，屙的屎撒的尿都是金子，想要多少财富就有多少财富。同伴中有位是王子，叫玛杰查，他听了迦罗迦伐蹉的话，暗自想道：“等我将来做了国王，我一定要把小象从他家夺过来。”后来，玛杰查果然继承了王位。有一天他派一名使臣到迦罗迦伐蹉家，命他带着金象一道进宫。玛杰查狠毒残忍，迦罗迦伐蹉不敢违抗命令，于是在父亲的陪同下，牵着金象进了皇宫。国王见到金象十分高兴。当迦罗迦伐蹉父子二人告辞的时候，国王对他们说，你们可以回去，但金象必须留下来。迦罗迦伐蹉父子无奈只好弃象而去。可是当他们走出王宫大门不远，金象也出现在他们面前，原来它是从宫内向外挖出一条通道跑出来的。金象虽然未失，但是迦罗迦伐蹉还是很害怕，怕难以躲过国王的报复。为此，迦罗迦伐蹉请示父母允许他出家为僧。父母同意了，迦罗迦伐蹉便骑着金象前往祗陀林。释尊愉快地接受了他，并亲自为他剃度。在释尊的教导下，迦罗迦伐蹉精勤佛道，不久便证得了阿罗汉果。

迦罗迦伐蹉进入佛门后，他的金象仍同他形影不离，金象经常引来许多人观看，干扰僧人的静修，由此引起一些僧人的不满。迦罗迦伐蹉为之十分苦恼，但不知如何打发金象。后来，释尊告诉他：“假如你对金象说三遍‘我不再托生，我不再需要你’，金象就会消失。”迦罗迦伐照此施行，金象钻入地下，果然消失了。

迦罗迦伐蹉居地在卡切(今克什米尔)的怙贡巾地方，位于印度的西北方向。根据释尊的旨意，他至今没有离开世间，和500名阿罗汉同住，护持传播佛法。他的形象标志是两手拿着念珠串。