人類從什麽時候開始擁有了與磁鐵相關的知識，現在已經無從考證了。一些傳說認為，遊牧民族附帶鐵製物品的鞋子或手杖有時會吸附黑色的石頭，這就是人類發現磁鐵的起源。在自然界中，世界各地均發現過名為“磁鐵礦”的鐵礦石，由於磁鐵礦本身具有磁性，所以世界各地的民族都應該意識到了磁鐵的存在。
磁鐵的英文名稱為“magnet”，關於它的詞源有多種說法，古希臘的馬格尼西亞地區出產磁鐵的說法最受認可。哲學家泰勒斯（約前624—前546）也在著作中提及磁鐵，從中可知早在古希臘時代人類就已經注意到了磁鐵的存在。
還有眾多古希臘哲學家曾經思考過，當磁鐵吸引鐵塊的時候，是否為鐵塊吸引磁鐵，並對磁性的本質提出過多種假設。例如，提出原子論的著名哲學家德謨克利特（前460—前370）認為，物以類聚人以群分，鐵與磁鐵性質相同才會互相吸引。
泰勒斯
中國先秦時期有人將磁鐵吸引鐵塊比喻為慈母戀子，因此稱磁鐵為“慈石”。現在河北省邯鄲市下轄的磁縣在古代曾被命名為慈州，因為該地出產磁鐵。從中可知，在世界的任何地方，人們自古以來就對磁鐵產生了濃厚的興趣。
一直以來，世界各地的人們為磁鐵的神奇力量所傾倒。各文明都曾流傳許多關於磁鐵的奇特功效的說法。古代歐洲的人們相信在枕頭下偷偷放置一塊磁鐵，背叛丈夫的妻子就會被直接彈下床，還有人認為白色的磁鐵是激發愛慕之情的特效藥等。