小时候奶奶让我远离“大队”，为什么？

今天突然想起来，我儿童时期经常去乡下奶奶家玩，每次我要自己上街玩耍（离开家门去村里转悠）时，奶奶都要再三叮嘱：“别上人家大队去吭”（大队可能是指以前的生产队，二十年前奶奶可能是指旧时生产队的办公区，其实可能是村委会）。
我之前没当回事，因为那时的我都不知道大队是什么，现在回想起来，总觉得奇怪，为什么奶奶这么担忧小孩在街上玩会靠近大队（村委会）呢？
是因为村委会是村霸经常欺负村民吗？难道小孩误入了村委会的院子，村委会都要报复这家人吗？就像清朝时紫禁城那样？
如果是这样，“大队”的威严是否是大饥荒到文革时代建立起来的，因为毕竟那个时代，大队可以决定一个人的生死，决定你家是不是五类分子之一，饥荒三年可以决定要不要查你家有没有藏粮食（每家都藏）。
长大后的我，经常向奶奶打听大饥荒到文革之间的事，奶奶总是说：那些事不要问了，太苦了。
但是我想，一般的苦事不会连讲都不能讲，因为有些事可以忆苦思甜，但是奶奶却一点都不讲，我想经历的事不仅是苦，恐怕还有更可怕的事，无法讲述。
不知各位有没有这种经历，就是老一辈人（1935年前出生的老人，在壮年经历过大饥荒的人），是不是对大队特别畏惧。