富貴怕見花開，大觀元年（1107年）三月，趙挺之卒于汴梁城。因為趙挺之得罪過蔡京，蔡京趁機落井下石，将趙挺之全家逐出京城。按宋代禮制，趙明誠也必須回鄉守制。時任鴻胪少卿的趙明誠攜妻李清照回到青州（今屬山東），夫妻二人開始了十年的屏居生活。

次年，趙明誠與李清照用陶淵明《歸去辭來》之意，為居所起名為“歸來堂”，決心過“甘心老是鄉”的隐居生活。“歸來堂”的命名，與趙李夫妻随遇而安，“雖處憂患困窮而志不窮”的豁達心态有關。

有學者稱“易安”出自《歸去來辭》“倚南窗以寄傲，審容膝之易安”句，因此有人望文生義，認為李清照嫌居處狹仄，進而批評她數典忘祖。立即有人指出，李清照自号“易安”，是易安于僅容膝之室，本意是自甘淡泊。陶潛《歸去來辭》之句亦有出處——《韓詩外傳》載：楚王遣使迎北郭先生，妻曰：食前方丈，所甘不過一肉；廣廈千間，所安不過容膝。以一肉之甘，容膝之安而徇楚國之憂，毋乃不可。北郭先生聽了老妻的話恍然大悟，“乃偕妻逃”。陶潛“審容膝之易安”，正是比喻自己知足于貧寒而無意仕進。

後世有學者稱，李清照的“易安”之号始見于《金石錄後序》，因此，自号“易安”，“明誠在日必無此稱号”，應該是在趙明誠卒後方有。理由是按照宗法制度，女子有三從之義，内諱不出門，所以尋常女子一般不會有名字的。甚至不惜舉例說明呂雉之雉，陳阿嬌之阿嬌。名且不行，何為字号？

個人以為此說大謬——李清照巾帼不讓須眉，絕非尋常女子可比。自号“易安”，始于屏居青州也不值得後人驚詫。李清照在丈夫面前從來強勢，在丈夫面前自稱“易安居士”，也在趙明誠可以接受範圍的。從李清照的詞作當中就可以看的出來，李清照自诩“此花不與群花比”（《漁家傲-雪裡已知春信至》），骨子裡根本沒有将自己認作趙明誠附庸的。

在青州期間，李清照逐漸走出心理陰影，再次變得開朗起來。夫妻二人朝夕相處，由于趙明誠深愛金石研究與收藏，李清照受其影響，與丈夫一同校勘舊書，攜手溯洄于曆史文物的長河之中。

在《金石錄後序》中，李清照深情地憶及人生中的最快樂時光：“每飯罷，坐歸來堂，烹茶，指堆積書史，言某事在某書某卷第幾頁第幾行，以中否角勝負，為飲茶先後。中即舉杯大笑，至茶傾覆懷中，反不得飲而起。”

趙明誠除了自慚不如之外，對妻子的敬重愛慕更加深了幾分。

夫妻二人樂此不疲，李清照在《金石錄後序》中載道：“樂在聲色狗馬之上”。《古今女史卷一》稱：“自古夫妻擅朋友之勝，從來未有如李易安（李清照晚号易安居士）與趙德甫（趙明誠字德甫、或通假字“父”）者。佳人才子，千古絕唱。”

在青州隐居的歲月，是趙明誠與李清照伉俪情深，幾勝新婚的十年。