賽夏族的矮靈祭在台灣原住民各族中是極為特殊的祭典。傳說中矮人居住於上坪溪溪谷的山洞中，矮人教導賽夏族人耕種技術及歌謠。然而矮人男子性好女色，常欺負賽夏女子，引起賽夏族男子的憤怒。賽夏族人用計將矮人全族撲殺，但自從矮人死後，賽夏族的作物就年年欠收，賽夏族人認為是矮靈作祟，於是開始年年舉行矮靈祭求取矮靈的原諒，這就是賽夏族矮靈祭的由來。