Nació el 27 de septiembre de 1859 en Bridgeport, Ohio. Siempre mostró un gran interés por los Indios Americanos. De joven tuvo un accidente en donde perdió casi por completo la audición. Después de ese incidente comenzó a hacer dibujos sobre exteriores. Su problema de audición lo obligó a dejar la escuela. Se mudo a Cincinnati a vivir con su tía, donde comenzó a trabajar.

Entró a tomar clases de arte en la Mickmicken University; después se fue a viajar a Europa y estuvo dos años en la Antwerp Academy, donde estudio historia de la pintura y el retrato. En 1883, a la edad de 24 años, visito algunos lugares en Nuevo México y después el territorio de Washington; ahí realizó retratos de nativos americanos.

En 1893 fue a Taos bajo la comisión de Harper’s Weekley, esas ilustraciones fueron utilizadas en varias publicaciones. Mas tarde estuvo trabajando como ilustrador y pasó tiempo en Montana en el campo de batalla Little Big Horn, pintando retratos de los indios de las Grandes Planicies. En 1900 estos retratos fueron exhibidos en París y Washington, D.C.; este fue un punto clave para su carrera.

El Smithsonian Institution compró once retratos y el presidente Roosvelt se interesó en su trabajo. Mas adelante comenzó a pasar los veranos en Nuevo México, en 1909 compró una iglesia vieja, misma que usó como estudio. En 1912 se fue a Taos y se convirtió en miembro de la Taos Society of Artists. En 1949 el Gilcrease Museum de Tulsa, Oklahoma montó una retrospectiva de las pinturas de Sharp; actualmente aun tienen la colección más grande de su trabajo. A los 93 años cerró su estudio en Taos, se enfermó y murió en agosto de 1953 en Pasadena.