เจ้าพระยาโกษาธิบดี (ปาน) เป็นบุตรของเจ้าแม่วัดดุสิต (บัว) ซึ่งเป็นพระนมในสมเด็จพระนารายณ์มหาราชกับขุนนางเชื้อสายมอญ เกิดในรัชสมัยสมเด็จพระเจ้าปราสาททอง และเป็นพระนัดดาในสมเด็จพระเอกาทศรถ เป็นเอกอัครราชทูตคนสำคัญ และท่านได้เดินทางไปพร้อมกับเชอวาเลีย เดอ โชมองต์ โดยขณะนั้นยังมีบรรดาศักดิ์เป็นออกพระวิสุทธิสุนทร ท่านได้อยู่ประเทศฝรั่งเศสเป็นเวลา 6 เดือนท่านจึงกลับสยาม ภายหลังท่านถึงแก่อสัญกรรมในสมัยสมเด็จพระเพทราชา
นอกจากนี้เจ้าพระยาโกษาธิบดี (ปาน) ท่านยังเป็นบิดาของเจ้าพระยาวรวงษาธิราช (ขุนทอง) และเป็นปู่ของ พระยาราชนิกูล (ทองคำ) ซึ่งเป็นบิดาของสมเด็จพระปฐมบรมมหาชนกผู้เป็นพระปฐมวงศ์ของพระมหากษัตริย์ไทยในราชวงศ์จักรี
ออกญาโกษาธิบดี มีชื่อเดิมว่า ปาน เป็นบุตรของเจ้าแม่วัดดุสิต พระนมของสมเด็จพระนารายณ์กษัตริย์องค์ที่ 27 ของอยุธยา และเป็นน้องชายของออกญาโกษาธิบดี (เหล็ก) ซึ่งดำรงตำแหน่งพระคลังระหว่างปี พ.ศ. 2200-2226 ต่อมาได้เลื่อนบรรดาศักดิ์เป็นพระวิสุทธสุนทร (ปาน) ในสมัยที่โกษาปานดำรงตำแหน่งเป็นพระวิสูตรสุนทรได้รับแต่งตั้งให้เป็นทูตออกไปเจริญสัมพันธไมตรีกับฝรั่งเศส ในสมัยดังกล่าวฝรั่งเศสมีอิทธิพลในราชสำนักของพระนารายณ์มาก จุดประสงค์ของฝรั่งเศส คือ การเผยแพร่คริสต์ศาสนา และพยายามให้พระนารายณ์เข้ารีตเป็นคริสต์ชนด้วย รวมทั้งยังพยายามมีอำนาจทางการเมืองในอยุธยา ด้วยการเจรจาขอตั้งกำลังทหารของตนที่เมืองบางกอกและเมืองมะริด
โกษาปานเดินทางไปกับเรือฝรั่งเศสเมื่อธันวาคม พ.ศ. 2228 ได้เข้าเฝ้าพระเจ้าหลุยส์ที่ 14 เมื่อ 1 กันยายน พ.ศ. 2229 และเดินทางกลับเมื่อ 27 กันยายน พ.ศ. 2230 รวมเดินทางไปกลับอยุธยาฝรั่งเศสทั้งหมด 1 ปี 9 เดือน โกษาปานเป็นนักการทูตที่สุขุม ไม่พูดมาก ละเอียดลออในการจดบันทึกที่ได้พบเห็นในการเดินทางครั้งนั้น สำหรับการเข้าเฝ้าในครั้งนี้ ออกพระวิสุทธิ์สุนทร (ปาน) ได้กระทำหน้าที่เป็นผู้แทนของราชสำนักอยุธยาอย่างถูกต้องตามขนบธรรมเนียมประเพณีการเข้าเฝ้า จนชาวฝรั่งเศสได้กล่าวยกย่องชื่นชมคณะทูตไทย ซึ่งถือว่าการไปเจริญสัมพันธไมตรีครั้งนี้ประสบความสำเร็จเป็นอย่างยิ่ง เพราะทำให้ความสัมพันธ์ระหว่างไทยกับฝรั่งเศสแน่นแฟ้นยิ่งขึ้น การเจริญสัมพันธไมตรีของพระวิสุทธิ์สุนทร (ปาน) และคณะราชทูตในครั้งนั้นได้สร้างชื่อเสียงเป็นที่เลื่องลือในทวีปยุโรป เนื่องจากเป็นครั้งแรกที่พระเจ้าแผ่นดินทางด้านตะวันออกแต่งคณะราชทูตไปยังสำนักฝรั่งเศสพระเจ้าหลุยส์ทรงจัดการรับรองคณะราชทูตจากกรุงศรีอยุธยาอย่างสมเกียรติยศ และโปรดให้จัดทำเหรียญที่ระลึก และมีการเขียนรูปราชทูตไทยเข้าเฝ้า พระเจ้าหลุยส์ที่ 14 ของฝรั่งเศสเป็นที่ระลึกด้วย
ในปลายสมัยของพระนารายณ์มีความรู้สึกต่อต้านชาวต่างชาติ (โดยเฉพาะอย่างยิ่งฝรั่งเศส) ในหมู่ขุนนางไทยและพระสงฆ์ พระเพทราชา เจ้ากรมช้าง (ซึ่งต่อมาเป็นกษัตริย์องค์ที่ 28 ของอยุธยา) ทรงเป็นผู้นำในการต่อต้านครั้งนี้ โกษาปานได้เข้าเป็นฝ่ายของพระเพทราชา เมื่อพระเพทราชาปราบดาภิเษกขึ้นเป็นกษัตริย์ โกษาปานได้รับมอบหมายให้เป็นผู้เจรจากับนายพลฝรั่งเศสที่คุมป้อมอยู่ที่เมืองบางกอกให้ถอนทหารออกไปจากอาณาจักรไทยได้สำเร็จ
พระยาโกษาธิบดี (ปาน) เป็นชายหนุ่มที่มีรูปงาม กิริยามารยาทเรียบร้อย มีไหวพริบดีรู้จักโต้ตอบ ได้ถูกเรื่องราวและกาลเทศะ ไม่มีอาการประหม่าสะทกสะเทิ้นเขินอาย เป็นคนช่างสังเกตจดจำสิ่งที่พบเห็นได้ทุกอย่างเมื่อเปลี่ยนแผ่นดินเป็นสมเด็จพระเพทราชานั้น พระยาโกษาธิบดี (ปาน ) นั้นได้รับแต่งตั้งเป็นเจ้าพระยาโกษาธิบดี แต่ด้วยเหตุที่เป็นคนซื่อสัตย์ต่อสมเด็จพระนารายณ์ฯ ดังนั้นเมื่อเห็นว่าสมเด็จพระเพทราชากระทำการไม่สมควรกรณี แต่งตั้งทั้งพระมเหสีและพระขนิษฐาของสมเด็จพระนารายณ์เป็นพระมเหสี จึงทำให้สมเด็จพระเพทราชานั้นทรงกริ้วเป็นอันมาก จึงหาเหตุให้ต้องพระราชอาญา เมื่อ พ.ศ. 2243 ภรรยาตลอดจนทรัพย์สมบัติของท่านก็ถูกริบหมด และมีโทษโบยด้วยเชือกจนสลบ เล่ากันว่าหลังนั้นไม่มีเนื้อดีจนมีการกล่าวกันว่า เจ้าพระยาโกษาธิบดี (ปาน) นั้นมีความเกรงกลัวพระราชอาญาเสียจนไม่กล้าที่จะกราบทูลเรื่องสำคัญๆ จนในที่สุดถึงแก่อสัญกรรม ด้วยความโทมนัสที่ถูกพระราชอาญาและต้องโทษโบยอยู่เสมอ
ส่วนครอบครัวของท่านก็ได้แตกฉานซ่านเซ็นไปอยู่คนละทิศละทาง เมื่อกรุงศรีอยุธยาเสียแก่พม่าครั้งสุดท้าย คุณทองดีซึ่งเป็นหลานปู่ของโกษาปานได้อพยพไปอยู่กับเจ้าพระยา?พิษณุโลก? (เรือง) ต่อมาเมื่อเหตุการณ์สงบได้มาตั้งนิวาสสถานอยู่ ณ ตำบลสะแกกรัง เมืองอุทัยธานี ท่านผู้นี้ปรากฏว่าเป็นบิดาของสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ปฐมกษัตริย์ในราชวงศ์จักรีแห่งกรุงรัตนโกสินทร์
ออกญาโกษาธิบดี (ปาน) ได้รับการยกย่องสรรเสริญในเรื่องความสามารถทำให้ไทยเป็นที่รู้จักของชาวต่างชาติ และจากบุคลิกของท่านที่เฉลียวฉลาด มีมารยาทเรียบร้อย ช่างสังเกต ช่างจดจำ พูดจาหลักแหลมคมคาย ทำให้ท่านประสบความสำเร็จในการประกาศชื่อเสียง และเกียรติคุณของประเทศชาติ จากผลงาน การเป็นหัวหน้าคณะราชทูตไทยไปเจริญสัมพันธไมตรีกับประเทศฝรั่งเศสจนประสบผลสำเร็จของออกญาโกษาธิบดี (ปาน) ทำให้ไทยรอดพ้นจากการคุกคามของฮอลันดา