在那些着手进行重建圣殿之工的以色列人附近，住着一种撒玛利亚人，他们是早年从亚述各省迁来的异邦殖民者和从前留在撒玛利亚与加利利的十个支派的剩余分子通婚，而产生的混合人种。
后来这些撒玛利亚人也自称敬拜真神上帝，但在心灵和习俗方面，他们仍是敬拜偶像的。不错，他们固然认为他们的偶像，只是用来使他们想起那位宇宙的主宰永生的上帝，但这些人仍然是癖好敬拜那些雕刻之偶像的。
在犹大复国期间，这些撒玛利亚人被称为“犹大和便雅悯的敌人。”他们“听说被掳归回的人为耶和华以色列的上帝建造殿宇，就去见所罗巴伯和以色列的族长”，表露他们甚愿一同建造的意图。
他们说：“请容我们与你们一同建造，因为我们寻求你们的上帝，与你们一样。自从亚述王以撒哈顿带我们上这地以来，我们常祭祀上帝。”然而他们对这种权利所作的要求被拒绝了。以色列的首长说：“我们建造上帝的殿与你们无干，我们自己为耶和华以色列的上帝协力建造，是照波斯王古列所吩咐的。”（拉4:1-3）