《史記》也存著一些缺點。司馬遷以一人之力寫成這部巨著，必然是有所疏略的。主要如書中有很多天道循環、五德終始的思想，常把古代科學知識和迷信思想混在一起，又採錄了缺乏事實基礎的傳說故事等。我們應當理解到，作者受了時代的局限，沒有看到某些問題的真相，實在無可避免。

內容上也有很多疏漏，如戰國初期的史料比較缺略；對一些重要人物沒有作出適當的處理，墨翟僅在〈孟子荀卿列傳〉中附記二十多字，便是一例；還有一些年代和史實的記載有錯誤，或前後矛盾。而在編次上，人物和少數民族的列傳相互間雜，也不免亂了一些。

另外有幾個問題，是後人常常議論不決的，例如：（1）秦為諸侯，項羽未為天子，而均列於本紀；（2）孔子未為諸侯；陳涉雖建號張楚，半年即失敗而死，二人均列於世家；（3）淮南、衡山二王皆為諸侯數十年，卻入於列傳。有些學者認為這是「為例不純」、「自亂其例」，其實《史記》著重實際情況多於名分，例如：

1. 秦雖為諸侯，但在昭王晚年已有支配天下的地位，所以列入本紀；項羽政權在當時以至歷史發展上都有一定的重要性，故與漢高祖相提並論。
2. 陳涉起義和孔子言行對後世的意義極大，列入世家，雖不同於政治上的世襲，也寓有繼承之意。
3. 相反的，淮南、衡山二王於後世並無重大影響，因此不入世家。

近人王樹民著《史部要籍解題》認為「從重實輕名的原則看，這樣安排還是有意義的。」張舜徽著《中國古代史籍舉要》甚至說「這正是司馬遷有特識、有眼光之處。」