Действие «Могилы Светлячков» разворачивается в сороковые годы прошлого века, в последние месяцы Второй Мировой войны. Положение Японии удручающее – солдаты гибнут на войне, которая уже кажется проигранной, мирному населению не хватает пищи. Главные герои аниме – юноша по имени Сэйта и его младшая сестра Сэцуко - живут в городе Кобэ с матерью. Отец в это время служит в Императорском Флоте, и от него пока нет вестей. Семья пытается продолжать своё существование, но всё идёт под откос, когда над Кобе появляются американские бомбардировщики. Город разбомблен напалмовыми снарядами, многие районы сгорают дотла. Среди них – тот, где жили Сэйти и Сецуко. Их дома больше нет, а мать погибла в огне. Теперь детям предстоит самим справляться со всеми невзгодами, но их главной задачей становится просто выжить.

Первое время дети пережидают у своей тётки, которая, впрочем, совершенно им не рада. Она считает детей нахлебниками, о чём не стесняется недружелюбно им напоминать. Мечтательный и интеллигентный Сэйта быстро не выдерживает такого отношения к себе и, забрав сестру, уходит из дома. Дети селятся в пустующей пещере на берегу реки. Компанию им первое время составляют светлячки, но и те вскоре умирают.
Чтобы выжить и помочь сестре, Сэйта вынужден воровать и мародёрствовать, но получается у него из рук вон плохо – крестьяне ловят его и, не желая слушать оправданий, избивают. Положение детей с каждым днём становится всё хуже, особенно, когда приходит тревожная новость с фронта – флот разбит, и отец Сэйта и Сэцуко, скорее всего, мёртв.