唐玄宗开元初年(公元713年)，海通法师修造乐山大佛，需要大量石匠，而五通桥因从秦朝李冰治水时就始凿井制盐，有大量的石工匠人，因此，修造乐山大佛的数百名石工匠人大部分从五通桥招募。
由于官绅敲诈，海通法师为保佛财而被挖掉双眼。众工匠深受感动，主动请求不吃肉，节约资金修造大佛。但长期下来，工匠们由于营养不良而致体力下降。
一晚，海通做了一梦，梦中如来佛祖请海通吃斋饭，指点大佛修造，席间全是豆腐。一觉醒来，海通明白，这是佛祖指点用价钱便宜的豆腐取代肉食，增加工匠们的营养。从此，西霸豆腐成了工匠们的主打菜，直到乐山大佛修造完工(公元803年)。
此后，西霸豆腐的美誉随着工匠、香客和僧人而流传四方。如今，在全国各地的佛家宴席中，用料最多的也是豆腐。