王恭派使者到殷仲堪处，与他商议讨伐王国宝等。桓玄因为政治上不得志，也想假借殷仲堪兵势作乱，于是对殷仲堪说：“王国宝与你们这批人一向是死对头，唯恐不能早日将你们置于死地。如今他既掌大权，又与王绪相勾结，他们想干的事，没有一件干不成的。王恭是皇上的舅舅，王国宝未必敢害他。而您为先帝所破格提拔，居于封疆大吏之任，舆论都认为您虽然有头脑，但并非方伯之才。他如果发出诏书，征召您为中书令，用殷觊为荆州刺史，您怎么办？”殷仲堪说：“我为此也忧虑很久了，你有什么计策？”桓玄说：“王恭疾恶如仇，您应该与他秘密缔约，举晋阳之兵以除君侧之恶，东西齐举，桓玄虽然不才，愿率荆楚豪杰，为您做前驱，这是齐桓公、晋文公之功勋。”
殷仲堪心中赞同，于是外结雍州荆史郗恢，内与堂兄、南蛮校尉殷觊，南郡相、陈留人江绩密谋。殷觊说：“人臣各守职分，朝廷是非，岂是藩臣该管的？晋阳之事，我不敢听。”殷仲堪坚持要他参加，殷觊怒道：“我不敢参与你的行动，也不会反对你的计划。”江绩也极力说不可。殷觊担心江绩被殷仲堪诛杀，就在座位上和言调解。江绩说：“大丈夫何至于以死相威胁呢？我六十岁了，就是还没找到死的地方罢了！”殷仲堪也忌惮他的坚定正直，以杨佺期替代他。朝廷接到消息，征召江绩为御史中丞。殷觊于是声称散发（晋人流行吃寒食散，药毒发作，就叫“散发”），辞职。殷仲堪前往探望他，说：“兄长的病殊为可忧。”殷觊说：“我的病不过身死，你的病却要灭门。你应该自爱，不要担心我！”郗恢也不肯跟从。