因日本遵守“一个中国”政策，所谓的“中华民国”与日本无正式“邦交”，“两国”以民间机构名义设定所谓的“外交代表机构”；但台湾当局所谓“外交部”对内将该代表处定位为所谓的“大使馆级外交机构”，处长的官衔则自2012年9月1日起正名为“大使”，对外则仍称代表。代表处本部位于东京，另设定5个具有领事馆功能的分处。

1972年9月29日，日本与中华人民共和国建交、并同时与“中华民国”“断交”。1972年12月2日，“行政院”设立所谓“亚东关係协会”负责对日关係事务。1992年，“亚东关係协会东京办事处”改名为“台北驻日经济文化代表处”。

日本在台湾设立的对应代表机构为日本台湾交流协会的台北事务所、高雄事务所。