En su debut en Wimbledon en 2002, derrotó al noveno preclasificado Roger Federer, convirtiéndose así en el primer adolescente en triunfar en el Court Central en su primer partido, desde que Björn Borg lo lograra.
Otro punto alto de su carrera se produjo en 2004, cuando alcanzó las semifinales de Wimbledon, y cayó en esa instancia ante Andy Roddick.
En 2005 logró su primer título de ATP en 's-Hertogenbosch y sería uno de los pilares, junto a Ivan Ljubicic, para que Croacia conquistara su primera Copa Davis. Formó un dobles imbatible junto a Ivan Ljubicic ganando en las 4 series y en singles alcanzó 4 derrotas y 2 victorias, incluida el punto decisivo ante Eslovaquia en el quinto partido frente Michal Mertinak que significaría la ensaladera de plata para Croacia.
En 2006 lograría buenas actuaciones (alcanzando cuartos de final en Roland Garros y Wimbledon) por lo que llegaría por primera vez a ocupar un puesto entre los top 10 del mundo del tenis, llegando hasta el puesto Nº7. Ha ganado además los torneos de 's-Hertogenbosch y San Petersburgo.
En el año 2000 Mario Ancic participó en los Juegos Olímpicos de Sydney y perdió en la primera ronda de dobles con Ivanisevic como compañero. Al año siguiente alcanzó la final en los torneos de Jóvenes Promesas de China y Canadá. En el 2002 consiguió una marca de 30-16 en partidos del Challenger. Ganó el título en Belgrado y fue subcampeón en Ho Chi Minh y Kyoto.
El mejor momento de su carrera llegó en su debut en un Grand Slam, cuando participó en Wimbledon y ganó al entonces número 9 del mundo Roger Federer en esa célebre pista en la primera ronda. Se convirtió en el primer adolescente en ganar en su estreno en Wimbledon desde Bjorn Borg en 1973.
En el año 2003 Ancic debutó en el Open de Australia y alcanzó la cuarta ronda, donde cayó ante Ferrero. La siguiente semana, logró el título en el Challenger de Hamburgo al vencer a Nadal. En la primera ronda de Copa Davis, ayudó a Croacia a derrotar a Estados Unidos por 4-1.
En Saint Polten, alcanzó por primera vez los cuartos de final en un torneo ATP y finalizó la temporada llegando a cuartos en Estocolmo. En dobles, logró el primer título ATP de su carrera en Indianápolis.
En 2004 el número 2 croata, por detrás de Ljubicic, terminó entre los 30 mejores por primera vez, destacando por alcanzar su primera final de ATP y sus primeras semifinales de un Grand Slam. Después de llegar a tercera ronda en el Open de Australia, donde perdió ante Philippoussis, regresó a la acción en Milan donde venció a Santoro, Nadal, Robredo y Johansson antes de caer ante Dupuis por tie-break en el tercer set.
En junio y julio logró sus mejores resultados en hierba, mostrando una buena imagen en la tercer ronda en Queen's donde perdió ante Roddick, en las semifinales de Hertogenbosch, donde le derrotó Coria, y en Wimbledon, donde fue eliminado por Roddick en cuatro sets.
En los Juegos Olímpicos de Atenas, ganó la medalla de bronce en dobles junto a Ljubicic, derrotando a la India con un 16-14 en el tercer set en el partido ante Bhupathi y Paes. En septiembre llegó a semifinales en Delray Beach. Estableció un registro de 10-3 en hierba, 6-6 en tierra batida, 6-10 en cemento y 5-5 en moqueta, además de un 3-0 en partidos de cinco sets.
En 2005, el joven tenista croata entró en el ranking ATP por sexta temporada consecutiva, obtuvo su primer título ATP y ayudó a su país a llegar a la final de la Copa Davis ante la República Eslovaca. En febrero, llegó a semifinales en pista cubierta en Marsella, cayendo ante Ljubicic, y en Rotterdam, donde perdió ante Federer. Continuó con el subcampeonato en pista exterior en Scottsdale.
Consiguió su primer título ATP en Hertogenbosch al derrotar a Llodra y accedió a la cuarta ronda en Wimbledon. En octubre llegó a la final en Tokio y a cuartos de final en Lyon, en este último torneo cayó ante Roddick. Logró un registro de 1-8 contra oponentes incluidos en el Top 10, con victoria sobre el número 7 Henman en cuartos de final de Rotterdam.
En Copa Davis, obtuvo una marca de 1-3 en individuales y de 3-0 en dobles. Se hizo con su segundo título ATP de dobles en Munich con su compañero Knowle. Completó la temporada de una forma inmejorable al ayudar a su selección a ganar por primera vez la Copa Davis, al imponerse al eslovaco Mertinak en el partido decisivo.
