《大图书馆的牧羊人》的剧情围绕主人公笕京太郎展开。京太郎是一名普通高中生，但他拥有预知未来的能力。尽管具备这种特殊能力，他选择保持低调，并作为图书社的一员过着平淡的生活。

京太郎的平静生活因一次意外而改变。他预见到一位名叫白崎鸫的少女将面临危险，于是及时出手相救，两人因此结缘。此后，白崎鸫加入了图书社，并成为了暂定的社长。随着她的加入，图书社逐渐变得热闹起来，樱庭玉藻、御园千莉、铃木佳奈等少女也相继加入，使得原本安静的社团室变得喧闹。

在京太郎的生活中，他们不仅一起度过了许多愉快的时光，还在关键时刻收到以“牧羊人”名义发送的短信，这些短信似乎与京太郎小时候收到的编号第771号牧羊人的书签有关。书签中记录了牧羊人的人生，而京太郎也逐渐卷入了成为牧羊人的故事之中。他们一起面对各种挑战，共同书写着属于他们的青春篇章。