Benedict Freedman nació en la ciudad de Nueva York en 1919 y fue hijo y nieto de escritores. Desde una edad temprana, Freedman mostró un gran promesa académica y fue inscrito en cursos acelerados para niños superdotados durante la escuela secundaria. Brilló en matemáticas y recibió una medalla por sus logros en la materia. Después de la escuela secundaria, Freedman asistió a la Universidad de Columbia como estudiante premed, pero tuvo que abandonar a los 16 años debido a la muerte repentina de su padre.
A pesar de tener que dejar la universidad, Freedman continuó persiguiendo su interés en las matemáticas a través de estudios privados. Su enfoque principal fue en juegos y matemáticas recreativas, y llegó a asistir en la redacción de un libro de texto sobre el tema. Además de esto, Freedman también trabajó en problemas de actuarios como un archivista para un actuario consultor. La pasión de Freedman por las matemáticas y su talento natural para la materia le permitieron realizar una contribución significativa al campo, a pesar de no haber completado una educación formal en el tema.