唐德宗贞元年间，长安太史局的角落里藏着一个秘密 —— 每当深夜，总有一盏油灯长明，灯下坐着个伏案疾书的老者，他便是贾耽。彼时的他已年过花甲，右眼因常年勘察边疆风雪，视力早已模糊，却仍左手按纸、右手握笔，在一张张特制的木板上勾勒着山川河流。民间悄悄传着，贾耽案头那盏油灯里的灯油不一般，是他当年在西域勘察时，从一位神秘老者手中得来的 “夜光油”，点上此油，夜里看地图能辨清百里外的地形，甚至能隐约看到过往商队的足迹。这说法虽无正史佐证，可太史局的小吏们都见过，即便窗外漆黑如墨，贾耽笔下的河流走向、关隘位置仍分毫不差，仿佛亲眼所见一般。
早年间，贾耽在山南西道任节度使时，曾有过一段惊险的奇遇。那年冬天，吐蕃频频在边境滋事，传言他们找到了一条通往梁州的秘密通道，随时可能突袭。贾耽急得夜不能寐，决定亲自去查探。他带着两个随从，扮成西域商人，顶着漫天大雪向米仓山进发。走了三天三夜，就在他们快要爬上山顶时，突然发生雪崩，积雪瞬间埋到了腰际。随从吓得面无人色，劝他赶紧回去，贾耽却从怀里掏出一块温热的青铜令牌，喃喃道：“当年在河西遇到的老向导说，这块令牌能护我过险地。” 说着便将令牌举在身前，神奇的是，原本狂暴的风雪竟渐渐小了些，他们顺着令牌指引的方向，在一处山坳里找到了躲避雪崩的山洞。更离奇的是，山洞石壁上竟刻着模糊的路线图，与贾耽之前搜集到的传闻中的秘密通道完全吻合。后来他才知道，那老向导是当年戍守河西的老兵，这块令牌是他父亲传下来的，据说曾是汉代张骞出使西域时用过的信物。凭借这条通道的地图，唐军提前设伏，打退了吐蕃的进攻，而贾耽也因此在民间得了个 “神眼贾公” 的名号。
编绘《海内华夷图》时，贾耽的 “细节狂魔” 劲儿在野史里更是传得神乎其神。有一回，他为了核实阳关的准确位置，特意带着弟子去了河西。当地的老牧民说，阳关早就被风沙埋了，没人知道具体在哪儿。贾耽却不放弃，每天清晨带着弟子在沙漠里寻找，傍晚就围着篝火整理资料。某天夜里，他梦见一位穿着汉代戍卒服装的年轻人，指着一处沙丘说：“这里就是阳关旧址，当年我就在这儿守了十年。” 第二天一早，贾耽照着梦中指示的地方挖掘，果然挖出了一些汉代的陶片和箭镞，还在沙丘下发现了一段残存的城墙地基。他据此在地图上标注出汉阳关故址，又根据当地风沙移动的速度，推算出唐代阳关的位置，甚至连阳关附近哪处有水源、哪处能避风，都标注得一清二楚。后来有商人按着他地图上的指引走丝路，果然在标注的地方找到了水源，避开了危险的流沙区，回来后特意带着西域的葡萄、玉石去感谢贾耽，说他的地图比 “活向导” 还管用。
民间还传，贾耽有一本从不示人的 “地理秘册”，里面记着各地的奇闻异事和山川秘辛。有次长安城里闹旱灾，连皇宫里的池塘都快干了，皇帝急得让大臣们想办法。贾耽翻开那本秘册，指着其中一页说：“城南三十里有处暗河，只要挖通河道，就能引水入城。” 大臣们都不信，觉得他是老糊涂了，可贾耽坚持要试试。他亲自带着工匠去城南，按照秘册上的标记挖掘，挖了三天三夜，果然挖出了一条暗河，河水清澈见底，很快就缓解了长安的旱情。没人知道那本秘册是哪儿来的，有人说他是在终南山的古观里找到的，是前朝地理学家留下的；也有人说，是他常年勘察，听各地百姓讲述后一点点记下来的。但不管怎么说，贾耽的 “神奇” 在长安百姓口中越传越广，甚至有人说他能 “通山川之气”，只要站在高处闭眼感受，就能知道地下有没有水源、山里有没有矿藏。
贾耽晚年时，曾遇到过一件蹊跷事。有个自称来自波斯的商人，拿着一张残缺的地图找到他，说想请他帮忙补全。那地图上画的是海上航线，标注着一些陌生的岛屿和港口。贾耽一看就来了兴致，和商人聊了起来。商人说，这是他祖父当年航海时画的，可惜在一次风暴中被撕坏了，只剩下这一部分。贾耽对照自己搜集的海上地理资料，又结合商人讲述的航海经历，花了三个月时间，不仅补全了地图，还在上面标注了季风的规律、暗礁的位置。商人感激涕零，要把一船的香料送给贾耽，贾耽却拒绝了，只说希望他能把补全的地图传给更多航海人，让他们在海上少些危险。后来有人说，那商人其实是波斯国王派来的使者，想请贾耽帮忙绘制通往大唐的海上航线，而贾耽补全的地图，后来成了波斯商人来大唐通商的重要指南，也让海上丝绸之路变得更加安全通畅。
公元 805 年，贾耽病重，临终前他把弟子叫到床边，嘱咐他们把自己收藏的地理资料和手稿都捐给太史局。弟子们发现，他枕头下还压着一块小小的青铜令牌，正是当年在米仓山救了他性命的那块。更让人意外的是，他床前的桌子上，放着一张还没完成的地图，画的是江南的圩田，上面密密麻麻标注着灌溉的渠道和堤坝的位置。民间传说，贾耽去世那天夜里，长安太史局里的那盏 “夜光油” 灯突然灭了，而河西、陇右等地的百姓，都说看到有一道白光从长安方向飞来，落在了他们修建的 “贾公祠” 上空，祠堂里供奉的《海内华夷图》拓本，在那天夜里竟泛出了淡淡的红光，像是在诉说着这位地理奇人的一生。
直到现在，河西走廊一带还流传着不少关于贾耽的故事。有人说，在风沙大的日子里，站在古阳关遗址上，还能隐约听到贾耽和老牧民交谈的声音；也有人说，那些按着他地图指引找到水源的商人，后代还保存着当年贾耽亲手标注的地图碎片。这些野史传说或许没有正史那么严谨，却让贾耽不再只是史书上一个冷冰冰的名字，而是成了一个有血有肉、心怀家国的地理奇人，他用一生的坚守，把大唐的山河装进了地图，也把对百姓的牵挂刻进了岁月里。