کمک فوری-> راه حل پیشنهادی شما چیست؟ گرفتن اطلاعات از چند وب سایت و درج در دیتابیس
سلام دوستان و اساتید عزیز خدا قوت و خسته نباشید.
بنده می خواهم از چند سایت مشخص اطلاعات خاصی را بگیرم و در دیتا بیس موجود در سرورم درج کنم به طور مثال فرض بفرمایید چند سایت خبری هستند که در صفحه ی اصلی هر کدام لیست اخبار جدید وجود دارد و هر کدام از این سایت ها ساختار خود را دارند و فید خوان هم ندارند که بخواهم از ان استفاده کنم. بنده می خواهم به محض اضافه شدن یک خبر تیتر و توضیح کوتاه و تاریخ و ساعت و سایر اطلاعات مورد نظر بنده به سرعت در دیتا بیس موجود در سرور بنده اضافه شود و این که به محض اضافه شدن خبر در ان سایت در دیتا بیس من هم با کمترین تاخیر اضافه شود بسیار مهم است. و سپس می خواهم که این اطلاعات را با یک اپ اندرویدی از دیتا بیس بگیرم که مشکل بنده تنها قسمت اول می باشد. نمی دانم باید از کتابخانه های دیتا ماینینگ استفاده کنم و یا باید از وب کراولر ها استفاده کنم و یا اگر سایتی فید خوان هم نداشته باشد می توان از ان اطلاعات گرفت و این که ایا باید ربات را ایجاد کنم که مدام در هر دقیقه چند بار به این وب سایت ها وصل شود و چک کند که ایا گزینه ای افزوده شده است و یا راه دیگری هم وجود دارد که از اضافه شدن خبر مطلع شوم. خیلی خیلی فوری هست ممنونم می شوم اساتید کمک کنند.
خدا قوت
به نظر من میتونید با استفاده از cronjob هر چند دقیقه یه url رو صدا بزنه که بیاد این کار ور بکنه:
صفحه اون سایت رو لود کنه و با استفاده از regex یا روش های دیگه ( استفاده از تگ های htmlو id که کتابخونه هم داره میشه ازش استفاده کرد.) مطالب مورد نیاز خود رو بگیرید و چک کنین تکراری نباشه. و مطالب رو در دیتابیس درج کنین.
من با کتابخانه هایی که گفتید کار نکردم ولی ترجیح میدم خودم این کار رو انجام بدم بهتر در میاد:D .
قبلا چند بار این کار رو انجام دادم که از متن وب سایت مطالب مورد نیازم رو استخراج کنم چون api نداشتن...
ویرایش:
گفتم در php برای گرفتن یک قسمت از page html دو راه دارید که راه اول استفاده از regex هست که استاد تو اموزش ها درس دادن یه مثالش: لینک و راه دیگه استفاده از کتابخانه هایی مثل PHP simple dom parser هست که به شما اجازه میده قسمتی از html رو به دست بیارید : لینک لینک . با این روش ها میتونید قسمتی که مورد نظرتون هست رو پیدا کنید بعد هم چک کنید که در دیتابیس موجوده یا نه و اینسرتش کنید.
قسمت دوم این هست که این کار هر چند دقیقه باید انجام بشه(مثلا هر یک دقیقه) که میتونید از cronjobs استفاده کنید که استاد در فیلم های آموزشی آموزشش رو دادن و میتونید ببینید.
خیلی ممنون بابت پاسخگویی . یک نکته ی دیگر سایت های مورد نظر بنده به این صورت هستند که به طور مثال شما سه پارامتر مانند تاریخ و مبدا را به آن ها می دهید و آن ها نتیجه را به شما نشان می دهند بنده چگونه و با استفاده از چه چیزی می توانم کاری کنم که به طور مثال خود ربات نوشته شده و یا لایبرری خودش تمام حالت های ممکن را وارد کند و نتیجه را به دیتا بیس بنده بدهد به این صورت که به طور مثال از تاریخ دو ماه پیش شروع کند تاریخ دو ماه پیش با مبدا تهران را در قمست مربوطه از ان سایت انتخاب کند نتیجه را بگیرد برای من بفرستد سپس نتیجه ی مربور به پنجاه و نه روز پیش و همینطور تا دو ماه آینده بیاید و سپس در قسمت مربوط با انتخاب مبدا بعد از تهران برود سراغ تبریز و کرمانشاه و همینطور الا اخر ؟
پاسخگویی و مشاهده پاسخ های این سوال تنها برای اعضای ویژه سایت امکان پذیر است .
چنانچه تمایل دارید به همه بخش ها دسترسی داشته باشید میتوانید از این بخش لایسنس این آموزش را خریداری نمایید .
