当神社のご祭神は猿田彦命で、合殿として大己貴命、建御名方命を奉祀します。当神社は渋江邑（むら）草創当初より伝わる古社で、霊験あらたかな社として近郷近在からも篤い崇敬を集めてきました。

​

　創建年代は詳らかではありませんが、旧別当（神社に付属する寺）清宝山観正寺が僧円覚によって延徳3年（1491）に建立されたといいますから、当社の創建はそれ以前のことと考えられます。

　「渋江」の地名は、応永5年（1398）の『葛西御厨田数注文写』に初見することから、当地の豪族であった葛西清重が平安末期に伊勢神宮に寄進した葛西厨33郷のひとつと推測されており、当社の創建もこの時代までさかのぼると思われます。

　古い申し伝えでは、清和天皇の御代貞観2年（860）庚申9月の鎮座なりとも、治承年間（1177～1180）には鎮座せりともいわれています。

　江戸期には「葛西の客人大権現」と称され、江戸市中の遊郭や水茶屋などからの参詣者で賑わいました。特に、六代将軍家宣公の御側室左京の局が当社の信仰によって七代家継公を授かってからいっそう万都の人気を呼び、江戸名所のひとつとして参詣人が絶えなかったといいます。文化文政から天保に至る時代には最も隆盛を極め、遠近より参詣するもの雲集したとのことであり、境内の鳥居、灯篭、手水舎等にそのおもかげを遺しています。

　客人の神は、もと越の白山より比叡の山に飛びうつられ給うたので「まろうど」大明神と称し、のち大権現にまつられた、とされており、日吉山王二十一社のひとつである客人社（日吉大社白山宮）との関係が想起されますが、同社を勧請した確かな記録は残っておりません。

　境内には樹齢数百年を経たる老松が鬱蒼としていましたが、大正中期に暴風雨や震災の被害を受けたため現存せず、代わりに、昭和の御大典を奉祝して植樹された銀杏の木々が今日の社叢（神社の森）の中心を成しています。

　明治初年には客人社、三社神社、澁江神社とも称されましたが、やがて白髭神社と社号を改めるとともに、明治5年（1872）社格を村社に列せられ、明治40年（1907）には神饌幣帛料供進神社に指定されました。終戦を経て、昭和29年（1954）東京都より宗教法人認可を受け、現在に至っています。

　社殿は嘉永元年（1848）のご造営で大正5年（1916）高欄を建設、さらに平成5年（1993）には瓦葺から銅板葺に改められました。また、末社は古くから境内に祀られていたものと大正年間に境外から移築したものが点在していましたが、平成21年（2009）に天皇陛下御在位20年を奉祝して現在地に改めて移改築するとともに、所縁のご祭神が奉祀されました。

　昭和40年（1965）の住居表示変更により、「渋江」の地名は四つ木一～三丁目、東四つ木一～四丁目、東立石三丁目に改められましたが、いまも渋江地区一帯の氏子の篤い崇敬により祭礼諸行事が賑やかに斎行されています。