Первым руководителем иностранного отдела ВЧК был назначен Давыдов (Давтян) Яков Христофорович. К моменту назначения в ВЧК он являлся заведующим отделом прибалтийских стран в Народном комиссариате иностранных дел. По поручению Ф. Э. Дзержинского он разработал положение об иностранном отделе, его штатное расписание, структуру.
Давыдов (Давтян) Яков Христофорович родился 10 октября 1888 года в с.Верхние Акулисы Нахичеванского края в семье мелкого торговца. В 1907 году окончил 1-ю Тбилисскую гимназию. В ученические годы вступил в партию большевиков, находился под негласным надзором полиции.
В 1907 году поступил в Петербургский университет. В том же году избирается членом Петербургского комитета РСДРП. В 1908 году арестовывается полицией за революционную деятельность. Выпущенный под залог, в том же году эмигрирует в Бельгию, где поступает на учебу в Политехнический университет. Ведет революционную работу среди русских политэмигрантов.
В Брюсселе Я.Х.Давтян познакомился и подружился с известной революционеркой Инессой Арманд, которая выполняла задания партии. С началом Первой мировой войны Бельгия оккупируется войсками кайзера. Давтян продолжает партийную работу, ведет пропаганду против мировой войны. В 1915 году арестовывается оккупационными войсками и заключается в тюрьму г.Аахен, где он провел восемь месяцев. Затем переводится в лагерь для интернированных на территории Германии.
В Россию возвратился в августе 1918 года. Работал заместителем председателя Московского губсовнархоза. Его председателем являлась И.Арманд. В феврале 1919 года выезжает по линии Красного Креста во Францию с целью возвращения на Родину солдат и офицеров Русского экспедиционного корпуса.
В июне 1919 года направляется на Украину с целью инспектирования деятельности политотделов военных учреждений.
В начале 1920 года Я.Х.Давтяна отзывают в Москву для работы в Наркомате иностранных дел. Занимает пост заведующего отдела Прибалтийских стран и Польши.
В ноябре 1920 года Дзержинский обратился с просьбой в ЦК РКП(б) о направлении Давтяна в распоряжение ВЧК. Эта просьба была удовлетворена, и 20 декабря он под фамилией Давыдов (фамилия была изменена в целях конспирации) был назначен временно исполняющим обязанности начальника внешней разведки.
За короткий период Я.Х.Давыдовым было разработано положение об иностранном отделе ВЧК, решены вопросы его структуры и штатного состава. В апреле 1921 года назначен начальником ИНО ВЧК. В августе 1921 года вернулся в Наркомат иностранных дел.
В 1922 году Я.Х.Давыдов направляется полпредом (послом) России в Литву, а затем — советником полпредства в Китае. Совмещает дипломатическую работу с разведывательной деятельностью. Выполнял роль главного резидента ИНО ОГПУ в Китае, руководил работой ряда разведывательных коллективов. В Китае находился до 1925 года.
С 1925 по 1927 год работал советником полпредства СССР во Франции.
В 1927-1930 годах являлся полпредом СССР в Иране.
С 1930 по 1932 год находился на партийной и административной работе. Некоторое время являлся ректором Ленинградского политехнического института.
В 1932 — 1934 годах Я.Х.Давыдов находился в Греции в качестве полпреда СССР. С 1934 по 1937 год работал полпредом Советского Союза в Польше.
В 1937 году Я.Х.Давыдов был обвинен в принадлежности к так называемому "троцкистско-зиновьевскому блоку". 28 июля 1938 году по приговору Особого совещания НКВД он был расстрелян.
Реабилитирован посмертно в 1956 году.