天明七年（1787）五月七日大目付役を突然罷免され、大取次御小姓支配役を仰せつけられた。これは閑職であり明らかに左遷であった。

　玉堂には左遷された理由はほぼ見当がついていた。昨年正月に本藩の藩主池田治政公にお目見えして以来、藩主の政直の態度がよそよそしくなり、玉堂を避けるようになっていたのである。しかし自分の信念を曲げて藩主におもねることはできなかった。玉堂は従前と変わることなく平然と出仕し、若い家士をつかまえては綱紀粛清の道理を説いて倦むところがなかった。


　そんなある日、赤穂屋喜左衛門が司馬江漢を連れて玉堂宅を訪問した。喜左衛門は大阪の木村拳霞堂とも商売や風雅の面で交流のある岡山の富商で玉堂とはよく気があい親密な交遊があった。たまたま司馬江漢が長崎へ蘭学の修業に赴く途中立ち寄ったのである。
　司馬江漢は江戸の人で、はじめ狩野派に学び浮世絵なども描いたが、後に平賀源内、前野良沢らと交わって蘭学を学んだ。天明三年（1783）日本で初めて腐食法による銅版画を制作し、洋画風の絵画も多く残した。西洋文化に深い関心を示し地動説を紹介した。また、封建社会の不合理を批判したり、人間平等論の萌芽も見られた。晩年には虚無的厭世的な傾向を強めた。著書に「西洋画談」「和蘭天説」「天地理譚」がある。
　玉堂宅では安が豆腐と蒲鉾に酒をつけてもてなした。

「どうです、今日は司馬先生の壮行会ということで、これから席を変えて中の島へ繰り出し、大いに楽しみましょう。玉堂先生、ご自慢の琴をお忘れなく」
　と、喜左衛門は供の者に言いつけて駕籠を呼ばせると二人を籠へ押し込んだ。
「これは、これは赤穂屋の旦那様いつも御贔屓にあずかりまして」

　女中に案内されて部屋へ通るとやがて主が挨拶に来た。挨拶に出た主の顔を見て玉堂は驚いた。先日、大目付就任祝いの挨拶に鯛と酒樽を持参した堀源左衛門なのである。堀源左衛門は赤ら顔の眉ひとつ動かさず素知らぬ顔で初対面を装っている。場なれした喜左衛門の計らいで芸技もあげて、三人は時に艶めく下世話な話題に、時に高尚な芸術論にと風論淡発した。喜左衛門は座持ちが巧く三味線にあわせて浄瑠璃の名場面を語ったりした。　　　　　
江漢は現在取り組んでいる銅版画について熱っぽく語り、長崎へ行くのはこの同版画を完成させるための文献を探しに行くのも目的の一つだと語った。玉堂にとって江漢の遊んでいる世界は初めて垣間見る物珍しい世界ばかりで大いに蒙を開かれる思いであった。とりわけ彼の話した地動説はあたかも太陽が西から昇り、東へ沈むかの如き驚きであった。
「ははあ、この世界は丸い球であって自らぐるぐる廻りながら更に太陽の周囲を廻っているのですか、そしてどこまでもどこまでも海山を越えて真っ直ぐに進んでいけば元の場所へ戻ってくるということですか」
　と玉堂は江漢が説明に使った手毬に印をつけてぐるぐる廻して眺めながら感嘆の声を上げた。　

「さようマゼランというポルトガルの船乗りは船で世界を一周してこの世界は円いものであることを証明しております」
　と江漢がその該博な知識を披露するのであった。

　玉堂は勧められるままに杯を傾け、請われるままに七弦琴を弾き仙境に遊ぶ思いであった。この船宿「堀船」は玉堂には始めてであったが、左遷された鬱懐を晴らすにはいい場所だと思った。機会があればまた訪ねてみようと秘かに思っていた。七弦琴を弾く玉堂の側に侍っている芸技の豊蘭はうっとりした表情で琴の音に聞き入っていた。

　やがて引き上げる段になったとき、玉堂はやおら懐から取り出した巾着を喜左衛門に預けようとして二人の間で口論が始まった。
「玉堂先生それはいけませぬ。手前の方からお誘いしたのですからここは手前の方で持たせて戴きます。それにこの店は手前どもの馴染みの店なので節気払いにしてありますからどうか御心配なく」
　と喜左衛門は巾着を押し返してくる。
「お気持ちは有り難いが、拙者は痩せても枯れても、鴨方藩の大目付のお役目まで勤めた身でござる。立場上からも家法を曲げることはできませぬ。ここは是非拙者にお任せ下され」
　と押し問答が始まってしまった。

「オランダではこのような場合、お互いに折半するのが習わしになっておりますぞ。如何かなオランダ方式になさっては。合理的だと思いませぬか。拙者は客人ということで御馳走にあいなりますがの、はっはっはっ」
　と江漢はどこまでも屈託がない。

「なるほど、それは巧い方法じゃ。理屈にかなっておりますな。赤穂屋殿、今日のところは江漢先生の大岡裁きにき従うことにしましょうぞ」
　という玉堂の提案でその場は収まった。このやりとりを見送りに出た船宿主の源左衛門の蔭に隠れて豊蘭がじっと見つめていた