出任卫尉
公元前141年（汉景帝后元三年），汉景帝驾崩，汉武帝即位 。左右近臣都认为李广是名将 ， 于是李广由上郡太守调任未央宫禁卫军长官，程不识也来任长乐宫禁卫军长官 。
程不识和李广从前都任边郡太守并兼管军队驻防，到出兵攻打匈奴的时侯，李广行军无严格队列、阵势，靠近水草丰盛的地方驻扎军队 ， 停宿的地方人人都感到便利 ， 晚上也不打更自卫，幕府简化各种文书簿册，但他远远地布置了哨兵，所以不曾遭到过危险 。程不识对队伍编制、行军队列驻营阵势要求很严格，夜里打更 ， 文书军吏处理考绩等公文簿册毫不含糊，甚至通宵达旦，军队得不到休息，但也不曾遇到危险 。
程不识说：“李广治军简便易行，然而敌人如果突然进犯，他就无法阻挡了 。而他的士卒倒也安逸快乐 ， 都甘心为他拼命 。我的军队虽军务繁忙，但敌人也不敢侵犯我 。”那时，李广、程不识都是汉朝边郡名将，但匈奴害怕李广的谋略 ， 士兵也大多愿跟随李广，而以跟随程不识为苦 。
公元前133年（汉武帝元光二年），汉武帝听从王恢之言，在马邑伏重兵意图围歼匈奴，李广当时是骁骑将军，属护军将军，但后来匈奴单于察觉到了汉朝的意图就退走了 ， 因此诸路汉军无功而返 。