王维和张垍兄弟及韦济等人在朝中是一个声势很大的群体,他们取悦宰相李林甫,又结好于高力士,还有已被贬的吏部侍郎苗晋卿,乃至京兆尹韩朝宗及一部分皇亲国戚,与他们都很合得来。李白不愿进入这一个集团,他因贺知章的关系,接近的是另一派讲求自然气度和正直的文人,如左相李适之等,文人中还有如薛挺等正派者,这样,长安的文人圈中,分成了明显的两个对立派系。
引荐李白的道士吴筠,也在翰林院中作空头学士,他看出由李白所引起的风向,他同时又发现李白虽然和许多权贵交好,但旧日长安的文士集团却对李白不相容。这些人老于官场,深通权术,会用阴谋;吴筠发现,贺知章也被这一个大集团排挤着,而李适之的权位在增高,又为宰相李林甫所忌。显明的,他们这一个集团,不久将会受到打击。
吴筠是聪明人,在天宝二年的秋日,当李白还浑浑地在发议论,游乐逞快时,他就有了退出的策划。同样地,贺知章也有所感,他一方面希望李自去接交李林甫,但在心志方面,又不愿李白改变风格。
这是李白到长安后所引起的暗潮。