窝阔台非常宠信耶律楚材，有一次在宴会上，他亲自为耶律楚材倒酒，说：“我这样信任你是遵从了父亲的遗命。没有你的话，中原就没有今天。我之所以能睡上安稳觉，也全靠你啊！”但是伴君如伴虎，有一次，两个道士在朝中争名夺利，一个诬陷另一个的两个下属是逃犯，于是把那两个人抓起来杀掉了。耶律楚材认为他们这样做不对，把相关人抓起来，窝阔台很生气，把耶律楚材捆了起来，后来又觉得后悔，命令给他松绑。但耶律楚材说：“我身为辅国大臣，皇上开始下令把我绑起来，一定是因为我有罪，应当向百官宣布。现在放了我，就说明我没罪。皇上怎么能说抓就抓说放就放呢？这样下去，国家大事还怎么处理？”其他人都为他捏了把冷汗，窝阔台却向他道歉道：“我虽然是皇帝，但也不能保证不犯错嘛。”好不容易才让耶律楚材消了气。
耶律楚材死得比较早，死时才55岁。当时窝阔台已经死了，他的皇后执掌了朝政。有人说耶律楚材的坏话，说他长期手握大权，天下的赋税他差不多侵吞了一半。皇后派人前去他家调查，结果在他家只找到十几张七弦琴、一些书画和古玩而已。