賀若弼出生在將門之家，其父賀若敦為北周將領，以武猛而聞名。滅陳以后，賀若弼地位更加顯貴，還經常以宰相自許，他的兄長賀若隆做武都郡公，弟弟賀若東為萬榮郡公，并為刺史、列將。賀若弼家有珍玩不可勝數，婢妾都身穿綾羅綢緞，生活奢侈。