สมเด็จเจ้าฟ้าทัศพงศ์ หรือ พระพงษ์นรินทร์ เป็นพระราชโอรสพระองค์ที่ 4 ในสมเด็จพระเจ้าตากสินมหาราช ประสูติในกรมบริจาภักดีศรีสุดารักษ์ (เจ้าหญิงฉิม) พระธิดาของพระเจ้านครศรีธรรมราช (หนู) มีพระอนุชาและพระขนิษฐาร่วมพระมารดา คือ
สมเด็จเจ้าฟ้าชายทัศพงศ์และสมเด็จเจ้าฟ้าชายทัศไภย มีความรู้ทางการแพทย์และได้รับราชการในราชสำนักพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก เป็นหม่อมราชนิกูล ที่ พระพงษ์นรินทร์ และ พระอินทร์อภัย ตามลำดับ มีตำแหน่งเข้าเฝ้าต่อจากเสนาบดีและสามารถเข้าออกในเขตพระราชฐานได้เนื่องจากเป็นแพทย์
พระพงษ์นรินทร์ เป็นต้นราชสกุล "'พงษ์สิน'" มีโอรสธิดาหลายคน ที่รับราชการใกล้ชิดราชสำนัก เช่น