Анатолий Жилинский родился в 1912 году, окончил Высшее военно-морское училище имени М.В. Фрунзе, служил в Гидрографическом управлении РККФ, в 1939 году направлен в Гидрографический отдел Северного флота. В 1953 году назначен начальником Северной Гидрографической экспедиции, которую возглавлял до 1958 года, затем стал начальником ведущего отдела Гидрографического Управления Минобороны СССР.
С 1961 по 1983 годы Анатолий Жилинский работал директором Гидрографического предприятия. Все это время предприятие обеспечивало безопасность мореплавания на трассе Северного морского пути. Была усовершенствована технология промера со льда на базе гусеничных транспортёров, выполнен большой объём астрономических и топографо-геодезических работ, созданы топокарты на участки побережья Карского моря, устьевые участки рек Енисей, Хатанга и Колыма, островов Земли Франца-Иосифа и Северной Земли. На смену гидрографическим судам постройки 1935-1938 годов поступила крупная партия судов, специально сконструированных для выполнения гидрографических исследований в Арктике. С 1967 года для промерных работ среди льдов в высоких широтах арктических морей введены новые исследовательские ледоколы «Пётр Пахтусов» и «Георгий Седов». В 70-е годы в состав флота предприятия поступила серия уникальных специализированных лоцмейстерско-гидрографических судов класса УЛ финской постройки, оснащённых современным оборудованием.
Анатолий Жилинский скончался в 1993 году, его именем названо лоцмейстерское судно.