Narumi Momose é uma jovem pequena e fofa que ama ídolos, jogos e tudo relacionado a anime ou mangá, especialmente do gênero boys' love. Em outras palavras, ela é uma otaku enrustida e, mais especificamente, uma fujoshi. Após um término devido a esse tipo de interesse, ela pede demissão do trabalho e entra em uma nova empresa. Em seu novo local de trabalho, os únicos colegas que conhecem seu segredo são seu amigo de infância Hirotaka Nifuji, um otaku de jogos de fala direta; Hanako Koyanagi, uma bela de aparência fria e madura; e Tarou Kabakura, um cara atraente de rosto assustador que sempre acaba brigando com Hanako.
Enquanto bebem para colocar o papo em dia, Hirotaka aconselha Narumi a namorar alguém que entenda seus hobbies. Mas ela está hesitante — otakus geralmente são vistos como nojentos, e os únicos que podem entendê-los são outros otakus. Ou será que um relacionamento entre dois otakus funcionaria?
Acompanhando o relacionamento de Narumi e Hirotaka enquanto eles começam a namorar, Wotaku ni Koi wa Muzukashii é uma história leve sobre aqueles que tentam equilibrar trabalho, relacionamentos e hobbies.