南亭之游（参见《游南亭》）后，谢灵运开始了他在永嘉境内的探奇搜胜。一方面山水并不能真正抚平他心中的幽愤，所以这一段时间中，他的诗中经常出现“倦”游的字样；然而另一方面，山水又时时给他以新的感受，使他失去平衡的心态，至少获得宣泄而趋于暂时的平衡。也就在这种徬徨徜徉中，他确立了自己山水诗鼻祖的地位，这或许是他自己始料所未及的吧。
赤石在永嘉郡南永宁（今浙江永嘉）与安固（今浙江瑞安）二县中路之东南，去郡约有数十里，东濒今日的温州湾。帆海，注家常以为地名，其实可商，据宋郑缉之《永嘉郡记》，“帆游山，地昔为海，多过舟，故山以帆名”，在安固县北。灵运所谓帆海之地，当在此山一带。但郑记并未说有帆海地名，因此帆海二词当是动宾结构，题意似为游览赤石，进而扬帆海上。诗的重点在帆海，游赤石只是引子。
诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。
“首夏”二句遥应《游南亭》诗“未厌青春好，已睹朱明移”，既点明此游节令，又显示了一种莫可如何而慰情聊胜无的复杂心情。游南亭触景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。这里说，初夏了，天气总算还清爽煦和，芳草也未尝因骄阳的淫威而枯萎。可见诗人似乎已从前诗的悲感中稍稍复苏。尤可注意：“芳草犹未歇”，实反用《离骚》“及年岁之未晏兮，时亦犹其未央，恐鹈鴂之先鸣兮，使夫百草为之不芳”，则又于自幸自慰中，见出谢客这位“逐臣”的傲兀性格来。但是这种欣慰并不能维持多久，在出郡数十里南游赤石中，日复一日地水行水宿，未免单调，而阴晴的变化，云霞的出没，也因屡见而失去了新鲜之感。这滨海的周游，已使人厌厌生“倦”，更何况面临的是极北不毛之地，穷发更北的溟海呢。有人认为“况乃临穷发”是写诗人豪情勃发，顿起泛海之想，然而“况乃”二字分明承“倦瀛壖”来，见出帆海之前，诗人的心情并不甚佳。
然而当舟船沿港湾进入大海，奇景忽开，水面一平如镜，川后既令江水安流，八首八足八尾背青黄的朝阳谷神水伯天吴，虽然脾气暴虐，此时却也“静不发”，仿佛都在迎接诗人的来游。于是他高张云帆，泛舟海上，随意掇取那形如龟足的石华，那其大如镜白色正圆的海月。而当他抬头回望时，溟海无涯，心情也竟如坐下的轻舟而起凌虚凭空之想。
出涯涘而观大海，诗人之所感，必也与《庄子·秋水》中那位河伯一样，涵容无尽的海波，真使他心胸开张，一扫积日累月的烦酲。于是他即游生想，远追往古，进而悟彻了人生的至理：海上曾有过形形色色的隐者，有助齐却燕，功成辞赏而退的鲁仲连；也有“身在江海之上，心居魏阙之下”的公子年（见《庄子·让王》）。形踪虽似，而其趣迥异。后者只是矜伐虚名的假隐士，与庄子所说的“无以得殉名”（《秋水》）格格不入，有亏大道。而似鲁仲连所说“吾与富贵而诎于人，宁贫贱而轻世肆志”，才深合漆园傲吏物我两忘，适己顺天，“返其真”的至理。两者相较，诗人似乎对自己既往自负任气蹙蹙于一己得失的生活有所警省，他愿意铭记《庄子·山木》中太公任（任公）教训孔子的一段话：“直木先伐，甘泉先竭”。露才扬己，必遭天伐，唯有“削迹损势”，澡雪精神，中充而外谦，才能养生全年——这正与渊深无底，广浩无涯，却一平如镜的大海一样。诗至此，情景理完全契合无际。
方东树《昭昧詹言》曾指出，谢客博洽而尤熟于《庄》，此诗不仅取义于《庄子》，而且在构想上也有得于《秋水篇》。诗以赤石为宾，帆海为主，以“周览倦瀛壖，况乃陵穷发”与“溟涨无端倪，虚舟有超越”两联作转折顿束，遂在层曲的写景抒情中表达了出涯涘而睹汪洋所引起的精神升华，情与理与典实均能合若符契，足见谢诗结构之精。
此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。
太史公牛马走司马迁，再拜言。
少卿足下：曩者辱赐书，教以慎于接物，推贤进士为务，意气勤勤恳恳。若望仆不相师，而用流俗人之言，仆非敢如此也。仆虽罢驽，亦尝侧闻长者之遗风矣。顾自以为身残处秽，动而见尤，欲益反损，是以独郁悒而无谁语。谚曰：“谁为为之？孰令听之？”盖钟子期死，伯牙终身不复鼓琴。何则？士为知己者用，女为说己者容。若仆大质已亏缺矣，虽材怀随和，行若由夷，终不可以为荣，适足以发笑而自点耳。
书辞宜答，会东从上来，又迫贱事，相见日浅，卒卒无须臾之间，得竭指意。今少卿抱不测之罪，涉旬月，迫季冬，仆又薄从上雍，恐卒然不可为讳，是仆终已不得舒愤懑以晓左右，则长逝者魂魄私恨无穷。请略陈固陋。阙然久不报，幸勿为过。
仆闻之：修身者，智之符也；爱施者，仁之端也；取予者，义之表也；耻辱者，勇之决也；立名者，行之极也。士有此五者，然后可以托于世，列于君子之林矣。故祸莫憯于欲利，悲莫痛于伤心，行莫丑于辱先，诟莫大于宫刑。刑余之人，无所比数，非一世也，所从来远矣。昔卫灵公与雍渠同载，孔子适陈；商鞅因景监见，赵良寒心；同子参乘，袁丝变色：自古而耻之！夫以中材之人，事有关于宦竖，莫不伤气，而况于慷慨之士乎！如今朝廷虽乏人，奈何令刀锯之余，荐天下之豪俊哉！仆赖先人绪业，得待罪辇毂下，二十余年矣。所以自惟：上之，不能纳忠效信，有奇策材力之誉，自结明主；次之，又不能拾遗补阙，招贤进能，显岩穴之士；外之，不能备行伍，攻城野战，有斩将搴旗之功；下之，不能积日累劳，取尊官厚禄，以为宗族交游光宠。四者无一遂，苟合取容，无所短长之效，可见于此矣。乡者，仆亦尝厕下大夫之列，陪外廷末议。不以此时引维纲，尽思虑，今已亏形为扫除之隶，在阘茸之中，乃欲仰首伸眉，论列是非，不亦轻朝廷、羞当世之士邪？嗟乎！嗟乎！如仆尚何言哉！尚何言哉！
且事本末未易明也。仆少负不羁之才，长无乡曲之誉，主上幸以先人之故，使得奉薄伎，出入周卫之中。仆以为戴盆何以望天，故绝宾客之知，忘室家之业，日夜思竭其不肖之材力，务一心营职，以求亲媚于主上。而事乃有大谬不然者！
夫仆与李陵俱居门下，素非能相善也。趣舍异路，未尝衔杯酒，接殷勤之余欢。然仆观其为人，自守奇士，事亲孝，与士信，临财廉，取予义，分别有让，恭俭下人，常思奋不顾身，以徇国家之急。其素所蓄积也，仆以为有国士之风。夫人臣出万死不顾一生之计，赴公家之难，斯已奇矣。今举事一不当，而全躯保妻子之臣随而媒孽其短，仆诚私心痛之。且李陵提步卒不满五千，深践戎马之地，足历王庭，垂饵虎口，横挑强胡，仰亿万之师，与单于连战十有余日，所杀过当。虏救死扶伤不给，旃裘之君长咸震怖，乃悉征其左、右贤王，举引弓之民，一国共攻而围之。转斗千里，矢尽道穷，救兵不至，士卒死伤如积。然陵一呼劳军，士无不起，躬自流涕，沬血饮泣，更张空弮，冒白刃，北首争死敌者。陵未没时，使有来报，汉公卿王侯皆奉觞上寿。后数日，陵败书闻，主上为之食不甘味，听朝不怡。大臣忧惧，不知所出。仆窃不自料其卑贱，见主上惨凄怛悼，诚欲效其款款之愚，以为李陵素与士大夫绝甘分少，能得人之死力，虽古之名将，不能过也。身虽陷败，彼观其意，且欲得其当而报于汉。事已无可奈何，其所摧败，功亦足以暴于天下矣。仆怀欲陈之，而未有路，适会召问，即以此指，推言陵之功，欲以广主上之意，塞睚眦之辞。未能尽明，明主不晓，以为仆沮贰师，而为李陵游说，遂下于理。拳拳之忠，终不能自列。因为诬上，卒从吏议。家贫，货赂不足以自赎，交游莫救，左右亲近不为一言。身非木石，独与法吏为伍，深幽囹圄之中，谁可告愬者！此真少卿所亲见，仆行事岂不然乎？李陵既生降，隤其家声，而仆又佴之蚕室，重为天下观笑。悲夫！悲夫！事未易一二为俗人言也。
仆之先非有剖符丹书之功，文史星历，近乎卜祝之间，固主上所戏弄，倡优所畜，流俗之所轻也。假令仆伏法受诛，若九牛亡一毛，与蝼蚁何以异？而世又不与能死节者比，特以为智穷罪极，不能自免，卒就死耳。何也？素所自树立使然也。人固有一死，或重于泰山，或轻于鸿毛，用之所趋异也。太上不辱先，其次不辱身，其次不辱理色，其次不辱辞令，其次诎体受辱，其次易服受辱，其次关木索、被箠楚受辱，其次剔毛发、婴金铁受辱，其次毁肌肤、断肢体受辱，最下腐刑极矣！传曰“刑不上大夫。”此言士节不可不勉厉也。猛虎在深山，百兽震恐，及在槛阱之中，摇尾而求食，积威约之渐也。故士有画地为牢，势不可入；削木为吏，议不可对，定计于鲜也。今交手足，受木索，暴肌肤，受榜箠，幽于圜墙之中。当此之时，见狱吏则头抢地，视徒隶则心惕息。何者？积威约之势也。及以至是，言不辱者，所谓强颜耳，曷足贵乎！且西伯，伯也，拘于羑里；李斯，相也，具于五刑；淮阴，王也，受械于陈；彭越、张敖，南面称孤，系狱抵罪；绛侯诛诸吕，权倾五伯，囚于请室；魏其，大将也，衣赭衣，关三木；季布为朱家钳奴；灌夫受辱于居室。此人皆身至王侯将相，声闻邻国，及罪至罔加，不能引决自裁，在尘埃之中。古今一体，安在其不辱也？由此言之，勇怯，势也；强弱，形也。审矣，何足怪乎？夫人不能早自裁绳墨之外，以稍陵迟，至于鞭箠之间，乃欲引节，斯不亦远乎！古人所以重施刑于大夫者，殆为此也。
夫人情莫不贪生恶死，念父母，顾妻子，至激于义理者不然，乃有所不得已也。今仆不幸，早失父母，无兄弟之亲，独身孤立，少卿视仆于妻子何如哉？且勇者不必死节，怯夫慕义，何处不勉焉！仆虽怯懦，欲苟活，亦颇识去就之分矣，何至自沉溺缧绁之辱哉！且夫臧获婢妾，犹能引决，况仆之不得已乎？所以隐忍苟活，幽于粪土之中而不辞者，恨私心有所不尽，鄙陋没世，而文采不表于后也。
古者富贵而名摩灭，不可胜记，唯倜傥非常之人称焉。盖文王拘而演《周易》；仲尼厄而作《春秋》；屈原放逐，乃赋《离骚》；左丘失明，厥有《国语》；孙子膑脚，《兵法》修列；不韦迁蜀，世传《吕览》；韩非囚秦，《说难》《孤愤》；《诗》三百篇，大底圣贤发愤之所为作也。此人皆意有所郁结，不得通其道，故述往事、思来者。乃如左丘无目，孙子断足，终不可用，退而论书策，以舒其愤，思垂空文以自见。
仆窃不逊，近自托于无能之辞，网罗天下放失旧闻，略考其行事，综其终始，稽其成败兴坏之纪，上计轩辕，下至于兹，为十表，本纪十二，书八章，世家三十，列传七十，凡百三十篇。亦欲以究天人之际，通古今之变，成一家之言。草创未就，会遭此祸，惜其不成，是以就极刑而无愠色。仆诚以著此书，藏之名山，传之其人，通邑大都，则仆偿前辱之责，虽万被戮，岂有悔哉！然此可为智者道，难为俗人言也！
且负下未易居，下流多谤议。仆以口语遇遭此祸，重为乡党所笑，以污辱先人，亦何面目复上父母之丘墓乎？虽累百世，垢弥甚耳！是以肠一日而九回，居则忽忽若有所亡，出则不知其所往。每念斯耻，汗未尝不发背沾衣也！身直为闺阁之臣，宁得自引深藏于岩穴邪？故且从俗浮沉，与时俯仰，以通其狂惑。今少卿乃教以推贤进士，无乃与仆私心剌谬乎？今虽欲自雕琢，曼辞以自饰，无益，于俗不信，适足取辱耳。要之，死日然后是非乃定。书不能悉意，故略陈固陋。谨再拜。
