සීලරතන ස්වාමින්වහන්සේ, සිරිධම්ම හිමි හමුවට