孔子一生致力于實現(xiàn)政治理想，忙于傳道、授業(yè)與解惑，很少有時間顧及家事。僅有的幾次提及家事，卻顯露出激憤與懊惱，甚以為憾。
孔子19歲時娶宋人亓官氏之女為妻，因為這時孔子的父母都已去世，孔子的哥哥伯尼（孟皮）拿了雞、大雁和小豬、帛錦等聘禮到亓官姑娘家去提親，亓官氏托伯尼將一塊繡有一對金燦燦鳳凰的刺繡琴套送于孔子作為愛情信物。
亓官氏與孔子在民族文化上有共同來源，自然也就多了一些共同語言。
一年后丌官氏生了兒子，取名為鯉，字伯魚。后來，亓官氏還生下一個女兒。孔子的女兒嫁給了孔子的愛徒公冶長。公冶長生在齊魯邊界，算是齊國人，長的一表人才，青年時曾在齊國做生意?？鬃泳育R時認識了公冶長，并收為弟子。
孔子和丌官氏兩人有兒有女，本該是個美滿家庭，可是，孔子和丌官氏感情不是很好，后來孔子還休了妻，當時稱“去妻”或“出妻”，也曾稱作“仳離”。
“唯女子與小人為難養(yǎng)也，近之則不遜，遠之則怨?！边@是孔子曾經(jīng)發(fā)過的感慨。心里裝滿了國家大事的孔子，留給女人的位置太少了，招致亓官氏的抱怨之后，忍無可忍，直接把她休回了娘家。
孔子志向遠大，太過專注于事業(yè)，對事業(yè)能保持最大的耐心，對女子卻缺乏耐心，因此才會發(fā)生這樣的事。也可能是亓官氏嫌孔子沒錢，仕途又不順，帶一幫弟子周游列國不顧家，自己疏遠了孔子。
魯哀公十年，公元前485年，孔子夫人亓官氏去世，當時孔子正在衛(wèi)國，仍然期望實現(xiàn)自己的政治理想，沒有大辦喪事。這是可以理解的，因為亓官氏已回宋國生活多年，孔子不可能去宋國為已休的妻子辦喪事?？鬃拥耐降軅儙椭诖蠓蜣静窦医鑹K地方設(shè)立了靈堂，供親朋好友祭拜。
伯魚為其母守孝一年。按照禮制，周年一過，就不應該再哭了，但是伯魚還是穿著孝服在那里哭哭啼啼。
孔夫子聽到了，不耐煩地說：“是誰在那里哭？”
弟子說：“是您兒子孔鯉?！?p> 夫子說：“嘻！還哭個沒完沒了，太過分了！”
伯魚聽到后，就趕緊脫去孝服，不再哭了。
孔子認為兒子服喪期滿后還在哭，認為有悖于常理，已顯得過分了，因而責怪孔鯉。
孔子忙于傳道授業(yè)，四處講學，常年不在家，疏于對兒子的管教，自己雖為萬世師表，但兒子孔鯉卻沒有受到持續(xù)的良好的教育，一生沒有大的作為。
孔子有個弟子名叫陳亢，看到孔鯉和孔子單獨在一起，懷疑孔子對兒子有些什么秘笈一類的傳授，便問孔鯉說：“你在你父親那兒，得到過什么特別的教導嗎？”
孔鯉想了半天，說了下面兩件事：
一天，孔子獨自一個人站在庭院里，孔鯉正好走過來，孔子便問道：“鯉兒，你學《禮記》了嗎？”
“還沒有。”孔鯉回答。
“那你回去好好地讀《禮記》，不學好《禮記》，就不懂得立身做人的道理?！笨鬃诱f。
于是，孔鯉回去苦讀《禮記》幾天。
又有一天，孔鯉又碰到父親獨自一人站在庭院中?？鬃訂枺骸磅巸?，你學《周南》、《召南》了沒有？”
《周南》、《召南》是《詩經(jīng)》中排在第一、二位的“風”詩，合稱“二南”，都是“王者之風”，是首先要掌握的內(nèi)容。
孔鯉老老實實地回答：“還沒有?！?p> “那你應該好好去學，不學好《詩經(jīng)》，就不善于表達自己的思想?！笨鬃诱f。
孔鯉聽了，就回去又認真地研讀《詩經(jīng)》好一段時間。
陳亢聽了，高興地說：“我問你一件事，卻知道了三件事，一是要學《禮記》，二是要讀《詩經(jīng)》，第三是老師對自己的兒子并沒有什么偏愛?！?p> 孔子對他的兒子說，首先要學習并領(lǐng)會《周南》、《召南》，不僅領(lǐng)會其詩句，還包括其樂曲；不僅誦詩，還要唱詩。此非娛樂，而關(guān)乎“大我”，關(guān)乎政教。否則，就會“猶正墻面而立也與！”鼻子碰南墻寸步難行了！
《詩經(jīng)》中的詩，篇篇能唱，還編配以舞蹈，舞、樂合稱為樂?？鬃邮凇霸姟?，有時是詩、樂二合一而授，有時是詩、樂、舞三合一而授，皆以“詩”總之，然后與禮對舉，形成修身成人的兩大法門。“詩”和“禮”，延伸到一種更能體現(xiàn)孔子學說理念的對舉方式，就是“禮”和“樂”?！皹贰庇挚梢园ā霸姟?。禮、樂安好，則天下大治；而禮崩樂壞，是最令孔子悲憤的。
針對孔子未能教育好兒子孔鯉的問題，孟子說，父親親自教育兒子，于情勢上是行不通的。教育必須要講大道理，而父子之間距離太近，講起大道理來，兒子勢必聽不進去；兒子不聽，父親望子成龍心切，往往會發(fā)脾氣，使用過激語言，甚至要動手教訓。這就又給兒子找到了頂撞父親的理由：‘你只會給我講大道理，可你自己卻做不到！’父子間就會傷了感情。父子間傷感情，非常不好！因為親情乃善之始也。所以古人都是“易子而教”。
孔鯉一生下來身體就不是太好，又比較嗜酒貪杯，身體越來越差，所以很早就去世了。
孔鯉死時50歲，孔子在他六十九歲的時候失去了自己的獨子，悲痛可想而知。但他遵循喪葬禮儀，兒子死時“有棺無槨”。
“槨”是套在棺材外面的大棺材，即外棺，作用主要是保護里面的棺材。在當時，貴族的墓穴里才有槨，有的棺材外甚至有三四個槨，而一般的平民百姓則連一個槨都沒有。在棺木外加槨以保護棺材的習俗一直保存了下來，達官貴人都會這么做。
孔子一向主張復古尊禮，盡管他痛失愛子，但是對兒子依然“有棺無槨”，這是圣人把握的原則。到了第二年，孔子的得意弟子顏回死了。因為他家里很窮，安葬的時候也只有棺。顏回的父親顏路曾在孔子門下求學，顏路于心不忍，就勸孔圣人變賣他的馬車給弟子顏回買槨。
孔子拒絕，他解釋道：“材不材，各言其子也。鯉也死，有棺而無槨，吾不徒行以為之槨，”意思是說：顏淵和鯉是否成才，當父親的各有自己的判斷。但孔鯉死的時候，也是有棺無槨。我現(xiàn)在不能賣掉自己的車子步行而給顏淵買槨，因為我還跟士大夫們一起參與政事，是不可以步行的啊。
孔鯉自己一輩子沒有什么建樹，死后妻子很快改嫁了?？鬃又С謨合备募蓿驗樗蝗绦目粗贻p的兒媳婦守寡終生。
從以上事情，可以看出孔子尊重女權(quán)，至于后世為年輕守寡而堅持到老的婦女立貞節(jié)牌坊，那是儒家思想異化發(fā)展的結(jié)果；同時可以看出孔子注重喪事從簡，節(jié)哀有度，并不主張大操大辦。晏子攻擊儒家主張傾家蕩產(chǎn)辦喪事，對喪事極盡哀情，不過是夸大其詞的誣陷攻擊。
孔子的孫子叫孔汲，字子思，是孔子的高徒曾參的學生，是孔子思想的第三代傳人，著有“四書”之一的《中庸》等著作，而且還培養(yǎng)了另外一個圣人----孟子，成就斐然。元帝封孔汲為“沂國述圣公”。
孔子、孔鯉及孔汲祖孫三代曾坐在一起，孔鯉對孔汲說：“你父不如我父。”對孔子說：“你子不如我子?！笨磥砜柞幨莻€幽默快活的人。